消息队列-kafka关于CommitFailedException问题
说明：转载本人掘金文章概述提交offset失败这个异常也是我们开发中常见的异常，那么这个异常是怎么引起的呢？只要我们明白原因，那么就能避免，特别是在异步提交情况下（offset丢失），导致重复消费，消息一直卡在最后一批，导致业务数据受到严重的破坏。了解消费者实例机制1.kafka消费者都是按照批量消
【NFT】ibox wtoken算法、锁单算法、脚本算法
前面的抓包分析和java层定位我这里就不分析了,添加依赖包org.apache.kafkakafka-clients2.6.0 <!-- https://mvnrepository.com/artifact/org.apache.curator/curator-client -->
搭建ZooKeeper集群和Kafka集群
目录规划基础环境配置（1）修改主机名（2）关闭防火墙及SELinux服务（3）编辑 hosts 文件（4）配置 yum 安装源（4）安装 JDK 环境搭建 ZooKeeper 集群（1）解压 ZooKeeper 软件包（2）修改 3 个节点配置文件（3）创建 myid 文件（4）启动 ZooKeep
Zookeeper与Kafka自动部署脚本
Zookeeper与Kafka自动部署脚本
Kafka在命令行的启动流程
Kafka在命令行的启动流程启动Zookeeper:启动Kafka:设置Kafka主题，查询Kafka主题名，启动生产者:启动消费者:启动Zookeeper:E:\kafka\kafka_2.12-2.3.0>bin\windows\zookeeper-server-start.bat con
spring boot集成Kafka发送和订阅数据两种方式
spring boot集成Kafka发送和订阅数据两种方式Kafka安装MacBook Linux安装KafkaLinux解压安装Kafkakafka可视化工具Kafka Tool安装使用Kafka集群和kafka-manager安装方式一maven的pom.xml引入依赖<dependenc
【kafka专栏】消息队列通用消息传递模型(带视频)
两种消费模型及消费者组模式讲解：Point-to-Point(P2P)，一条消息由一个消费者消费；Publish/Subscribe(Pub/Sub)，一条消息被多个消费者消费。
【kafka专栏】核心概念篇-broker、主题、分区、消费者组、分区副本
本节为大家介绍一下kafka的一些基础概念，这些概念将在后续的学习中不断的被提到，所以有必要清晰明了。**本节内容是应用kafka消息队列最核心的理论知识内容，初学者请务必研读揣摩。** 第一遍读不懂往后学一学，再回来都这一篇文章，总之反复揣摩，这篇是kafka的理论知识核心。
【大话云原生】消息队列与快递柜之间妙不可言的关系（带视频）
提到消息队列可能一些朋友经常听别人说起一些名词，比如：服务程序解耦，处理流量削峰，通过异步处理提升用户体验，缓冲批处理提高处理性能。笔者擅于白话解说，所以我就不用专业的术语去解释专业的问题了。我一直觉得消息队列的功能和快递柜的功能非常相似，怎么个相似法呢？让我来详细给你说说。
Kafka3.1安装配置，配置Kafka集群，Zookeeper集群
1.下载Kafka安装包Kafka官网下载地址：https://kafka.apache.org/downloads2.解压压缩包tar -zxvf kafka_2.12-3.1.0.tgz -c kafka3.进入配置文件目录cd kafka/config4.配置kafka配置文件vim serv
【Kafka SASL认证】
条件：注：先安装Zookeeper和Kafka链接：https://blog.csdn.net/ZhongYuxuanGKafka配置SASL认证：1.创建文件中配置用户①.kafka/config/下创建kafka_client_jaas.conf文件：KafkaClient { org.apa
大数据-kafka学习（八）—— 生产调优、硬件配置选择
一、场景说明100万日活，每人每天100条日志，每天总共的日志条数上100万*100条=1亿条1亿/24小时/60分/60秒=1150条/每分钟每条日志大小：0.5K-2K（取1K）1150条/每分钟*1K≈ 1m/s高峰期每分钟：1150条*20倍 = 23000条。每秒多少数据量：20MB/s。
大数据-kafka学习（七）——集成SpringBoot
SpringBoot是一个在JavaEE开发中非常常用的组件。可以用于Kafka的生产者，也可以用于SpringBoot的消费者。一、SpringBoot项目搭建如果Spring Initializr产生如下错误解决方法Custom的URL改为https://start.aliyun.com/Spr
大数据-kafka学习（五）——消费者
一、KAfka消费方式1、pull（拉）模式：consumer 采用从broker中主动拉取数据，Kafka 采取这种方式2、push（推）模式：Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consu
大数据-kafka学习（六）——简单代码实现生产者消费者
maven依赖导入 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artif
SpringBoot整合Kafka消息队列并实现发布订阅和消费
SpingBoot整合Kafka，实现基本的订阅与消费pom依赖 --版本和springboot相关 <dependency> <groupId>org.springframework.kafka</groupId> <artifact
Kafka的客户端NetworkClient如何发起的请求
Client 2 Server
kafka的安装
一、下载安装包并解压1.下载kafka下载地址：Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloads（根据自己的需求下载相应版本的kafka）2.将kafka导入到自
Kafka优雅源码设计2-KafkaProducer如何实现线程安全
1. 背景知识1.1 线程安全的定义我们可以看下《Java并发编程实战》在2.1章节中的定义：当多个线程访问某个类时，这个类始终都能表现出正确的行为，那么就称这个类是线程安全的。我们常用synchronized或者Lock来实现线程安全的代码，1.2 线程安全的级别1.3 Java语言中如何实现线程
日活量百万数据，Kafka硬件如何配置？kafka生产者消费者调优
kafka生产者、消费者调优、硬件选择
