分布式应用之Zookeeper和Kafka
【代码】分布式应用之Zookeeper和Kafka。
使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表
使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表
FlinkCDC的介绍和原理
总的来说，FlinkCDC 的原理就是通过解析 MySQL 中的 binlog，抓取到最新的增量数据，并将其转换为 Flink 支持的数据格式，然后将增量数据同步到 Flink 或者其他的计算引擎中进行处理。FlinkCDC 是阿里巴巴开源的一个基于 Flink 的分布式流式数据同步工具，它可以将
Spring Boot集成Kafka详解
Spring Boot是一个用于构建独立的、生产级的Java应用程序的框架，而Kafka是一种高吞吐量的分布式发布订阅消息系统。在本文中，我们将详细解释如何在Spring Boot项目中集成Kafka。
【Flink写出到kafka报错ClassNotFoundException】
flink写出到Kafka、jar包冲突排查
kafka 理论知识
Kafka是一个分布式的消息订阅系统。
Zookeeper+kafka
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用
Go操作各大消息队列教程（RabbitMQ、Kafka）
Go操作各大消息队列教程（RabbitMQ、Kafka）
基于 SpringBoot3 仿牛客论坛项目代码及踩坑总结
一个基本功能完整的论坛项目。项目主要功能有：基于邮件激活的注册方式，基于 MD5 加密与加盐的密码存储方式，登陆功能加入了随机验证码的验证。实现登陆状态的检查、为游客和已登录用户展示不同界面与功能。实现不同用户的权限控制和网站数据统计(UV、DAU)，管理员可以查看网站数据统计和网站监控信息。支持用
Kafka（Windows）安装配置启动（常见错误扫雷）教程
下载到本地后，将文件解压到 D:\kafka_2.11-2.4.0，该文件夹包括了所有相关的运行文件及配置文件，其子文件夹bin\windows 下放的是在Windows系统启动zookeeper和kafka的可执行文件，子文件夹config下放的是zookeeper和kafka的配置文件。注意下载
【Kafka原理】分区的leader和follower
Kafka启动时，会在所有的broker（集群节点）中选择一个controller之前的leader和follower是针对分区而言的，而controller是针对broker的创建topic、添加分区、修改副本数量等管理任务都是由controller完成的Kafka分区leader的选举，也是有c
kafka @KafkaListener 动态接收topic
这里用到了获取配置文件的信息因为@value跟@Bean在同一个文件里会先执行@value。但是某些业务场景 kafka定义的topic会不同这时候就需要传入变量才可以实现。@KafkaListener 里边的 topics 必须是常量，不可以是变量。这里是获取topic 其实可以在对应的@Bean
Kafka设计原理详解
Kafka设计原理详解
Springboot整合kafka实现高效的消息传递和处理
本文介绍了如何使用Spring Boot整合Kafka，并支持多种消息模式。首先我们配置了Kafka的生产者和消费者，然后介绍了点对点模式、发布-订阅模式和批处理模式的实现方式。Kafka作为一个高可靠、高性能、分布式的消息系统，已经被广泛应用于各种场景中。通过使用Spring Boot整合Kafk
Kafka在linux中的安装
本篇讲解以下kafka集群的搭建，这里搭建了两种Kafka集群，一种是使用ZK的传统集群，一种是不需要ZK的实验版集群，后期Kafka将会废弃ZK，但是现阶段还是推荐使用带有ZK的，因为不需要ZK的还处于实验性质Kafka的共识机制KRaft，仍然处于预览机制。未来KRaft将作为Apache Ka
kafka—offset偏移量
1.offset基本概念2.offset的提交3.消费者优化
【Kafka】Kafka架构设计之组件详解
Meta（元信息）broker ：servertopic：queue组，partition：queue，默认1：1，可以1：多，每个partition对应一个磁盘中的文件为什么要设计topic和partition，1：多的关系？kafka的设计上broker会存在消息积压，最终msg会落地到磁盘文件
Flink 系例之 SQL 案例 - 订单统计
示例，对电商实时订单进行聚合计算，分以下两个维度进行：1. 统计每 1 分钟的订单数量、用户数量、销售额、商品数；2. 统计每个分类的订单总数量、用户总数量（未去重）、销售额、商品数
监控Kafka的关键指标
Kafka 是现代分布式系统架构中非常常见的组件，Kafka 运行是否正常，消息消费是否正常，都需要重点关注。监控可以从 4 个层面着手，机器、JVM、Kafka Broker、Lag。
kafka connect
Kafka Connect 是一款可扩展并且可靠地在 Apache Kafka 和其他系统之间进行数据传输的工具。可以很简单的定义 connectors（连接器） 将大量数据迁入、迁出Kafka。例如我现在想要把数据从MySQL迁移到ElasticSearch，为了保证高效和数据不会丢失，我们选择M
