SeaTunnel本地运行以及kafka发送到redis说明
Seatunnel2.3.1源码Idea中的目录结构通过maven进行代码编译编译命令mvn编译单个模块命令mvn编译完通过类来运行这样就运行成功啦附上配置文件样例env {source {Jdbc {sink {Redis {运行结果。
Kafka生产经验
Kafka生产经验
Kafka消息队列面临的优化问题
在防止消息丢失的方案中，如果生产者发送完消息后，因为网络的波动，没有收到Kafka返回的ACK确认收到信息，但是实际上Broker已经收到了该消息，此时生产者就会重新发送消息数据，进行重试，于是Broker就会收到多条相同的消息数据，从而造成消费者的重复消费。所谓顺序消费指的是：消息一条条被消费，例
Kafka详解(一)
目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。② 在大数据场景主要采用Kafka作为消息队列② 在JavaEE开发中主要采用ActiveMQ、RabbitMQ、RocketMQKafka存储数据，且保证数据一致性，存取速度都很快！
flink-sql对kafka数据进行清洗过滤
flink-sql对kafka数据进行清洗过滤
kafka单独设置topic过期时间
kafka 查看单个topic过期时间
Spark大数据技术与应用期末总结大题
PySpark启动以Local,yarn,standalone,mesos2、控制日志级别，有效的日志级别包括：ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN控制日志输出内容的方式有两种log4j.rootCategory=INFO, console
Kafka可视化平台EFAK搭建及使用
EFAK的前身就是Kafka-eagle，新版本的Kafka-eagle都称之为EFAK（Eagle For Apache Kafka）。EFAK是开源可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标，无论它们存储在哪里。用简单的英语，它为您提供了将您的 Kafka集群数据转换为漂亮的图形
Kafka 批量消费
业务背景项目有个需求需要统计IM聊天相关数据，原设计思想是在聊天产生时通过消息队列进行数据记录，利用rocketMQ实现。上线后发现由于内部IM活跃用户量级较大，MQ生产者生产消息过多，消费者实时消费会造成服务器CPU和硬盘读写压力，在改不了硬件配置的情况下，笔者通过了解到kafka批量消费的实现可
kafka消费者的group id从哪里获取
kafka消费者的group id从哪里获取
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统（附源码）
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统（附源码）
springboot集成kafka的相关配置及自定义
有这样一个场景，在项目中，我们搭建了kafka集群，然而在环境中，会有各种不同的消息，有一些消息不是我们需要的，有些消息是我们需要的，这时我们可以通过过滤器来进行控制和过滤。kafka内部自己实现分区、策略等一系列的逻辑，当然这些也可以自定义，这里有需要的可以自己研究一下，我这里就不需要了。之前的文
【项目实战】Kafka中Topic创建介绍
Topic可以看作是一个消息队列生产者将消息发送到Topic中，消费者从Topic中消费消息。
【Kafka】超详细介绍
Kafka 超详细介绍
消息队列是什么
在像双11 的时候秒杀等系统的时候，用户直接访问数据库，数据库一时接受到大量的数据请求，就会压垮数据库，所以在这个时候加入消息队列，用消息队列的大吞吐量，快速处理用户的请求（哪怕是Redis还不足够应对这种大数据访问）。使用消息队列可以实现系统与系统之间的解耦，比如 买票系统中买票，用户是不直接调用
手记系列之六 ----- 分享个人使用kafka经验
本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。Kafka是一种高吞吐
【学习笔记】kafka学习二
kafka学习笔记
Kafka 3.4.0 kraft 集群搭建
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用 KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种
Springboot 集成kafka
解释：这里定义了消费者id为ifun-001，消费者组id为ifun-01，同时监听两个topic，ifun1和ifun2，其中监听ifun1的0号分区，ifun2的0号和1号分区，其中1号分区开始的offset为8，也就是说如果next-offset大于8就会消费，小于8不会消费。消息过滤器可以在
Kafka如何保证数据高可靠
生产者只要将数据发送到leader副本，kafka就会返回ack，leader中的数据先在缓存中，数据写磁盘需要一段时间。ISR假设为空，或者小于最小副本数，生产者往Kafka写数据的时候一直会报错，不能说它一报错Kafka生产者就直接终止，我们肯定要设置一个重试次数，来提升程序的健壮性。这种情况下
