SpringBoot整合Kafka消息队列并实现发布订阅和消费
SpingBoot整合Kafka，实现基本的订阅与消费pom依赖 --版本和springboot相关 <dependency> <groupId>org.springframework.kafka</groupId> <artifact
Kafka的客户端NetworkClient如何发起的请求
Client 2 Server
kafka的安装
一、下载安装包并解压1.下载kafka下载地址：Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloads（根据自己的需求下载相应版本的kafka）2.将kafka导入到自
Kafka优雅源码设计2-KafkaProducer如何实现线程安全
1. 背景知识1.1 线程安全的定义我们可以看下《Java并发编程实战》在2.1章节中的定义：当多个线程访问某个类时，这个类始终都能表现出正确的行为，那么就称这个类是线程安全的。我们常用synchronized或者Lock来实现线程安全的代码，1.2 线程安全的级别1.3 Java语言中如何实现线程
日活量百万数据，Kafka硬件如何配置？kafka生产者消费者调优
kafka生产者、消费者调优、硬件选择
图解Kafka的服务端的网络通信模型
在开始讲解Kafka的网络通信模型之前,我们有必要先简单了解一下：线程模型 Reactor模式Reactor模式Reactor 模式，是指通过一个或多个输入同时传递给服务处理器的服务请求的事件驱动处理模式。服务端程序处理传入多路请求，并将它们同步分派给请求对应的处理线程，Reactor 模式也叫 D
Kafka优雅源码设计1-Utils.propsToMap
前言Kafka作为一个开源高性能消息引擎服务，也被评为21世纪最具影响力的技术进步之一。近期在读Kafka源码过程中，发现了很多闪光点，也许我们平时工作不需要Kafka的源码，甚至压根用不到Kafka来实现功能。但是这样一个优秀设计的分布式中间件，在代码的编写上有着很好的示范作用。本系列也希望摘取一
centos 7 安装kafka 2.6.2（集群）
小伙伴们，你们好，我是老寇一、前提条件192.168.1.1 (安装kafka，点点我)192.168.1.2 (安装kafka，点点我)192.168.1.3 (安装kafka，点点我)二、安装过程1.3台主机都执行如下命令mkdir -p /data/kafka/logsmkdir -p /da
centos7 安装 kafka 2.6.2（单机）
小伙伴们，你们好，我是老寇目录一、下载文件二、解压文件三、移动文件到/usr/local四、创建文件夹并授权五、修改config/zookeeper.properties六、修改config/server.properties七、启动zookeeper八、启动kafka九、查看端口占用十、创建top
从0到1搭建大数据平台之开篇
学大数据必须了解的知识点。硬核
Kafka集群和kafka-manager安装
Kafka集群和kafka-manager安装MacBook Linux安装zookeeperMacBook Linux安装Kafkakafka-manager安装curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bin
Kafka消费者组整合代码实现分区分配策略以及offset使用场景
分区分配策略、Range、RoundRobin、Sticky 以及再平衡、offset 位移、自动提交offset、手动提交 offset、指定 Offset 消费、指定时间消费、漏消费和重复消费、消费者事务、数据积压
Kafka入门
Kafka是一个分布式系统，由通过高性能TCP网络协议进行通信的服务器和客户端组成。它可以部署在本地和云环境的裸机硬件、虚拟机和容器上。服务器：Kafka作为一个或多个服务器的集群运行，可以跨越多个数据中心或云区域。其中一些服务器形成存储层，称为代理。其他服务器运行Kafka Connect以将数据
Kafka原理及应用实践，用心看这篇就够了【重点】
1.1 概述Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力。1.2 基础架构及术语通过上面一张图，可能有的术语还不太清楚，下面我们一个一个的解释：Producer：Producer即生产者，消息的产生者，是
消息队列的消息积压解决办法
1.1 概述其实本质针对的场景，就是说可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，就可能出现以下三大问题场景：1、可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？2、或者是这整个就积压了几个小时，你这个时候怎么办？3、或者是你积压的时间太长了，导致比如 R
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
【Kafka从入门到成神系列 五】Kafka 幂等性及事务
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：Kafka 从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
【Kafka从入门到成神系列 三】Kafka 生产者消息分区及压缩算法
作者简介：大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。个人公众号：爱敲代码的小黄。系列专栏：Java设计模式、数据结构和算法、Kafka从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主
Kafka集群搭建（使用自带zookeeper，多节点）
1-Kafka集群搭建1.安装包解压至相应目录/home/ZX/soft/kafka_2.12-3.0.02.搭建三个节点IP broker.id myid10.103.105.91 1
客快物流大数据项目(六十一)：将消费的kafka数据同步到Kudu中
目录将消费的kafka数据同步到Kudu中一、导入表名映射关系类二、编写数据解析器根据表名解析成具体的POJO对象三、扩展自定义POJO的隐式转换实现四、转换Ogg和Canal对应主题的数据为具体的POJO对象五、实现Kudu表的自动创建工具类六、将数据写入
