Windows下快速启动Kafka以及三种发送消息的方式
Windows下快速启动Kafka以及三种发送消息的方式
Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器
一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本（持续更新追踪、持续完善）
用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本
Kafka数据同步原理详解
Kafka是一种分布式的消息队列系统，它具有高吞吐量、可扩展性和分布式特性等优势。在Kafka中，数据按照主题进行分区，每个主题都有一组分区。每个分区都有自己的生产者和消费者，生产者负责向分区中写入消息，消费者负责从分区中读取消息。因此，Kafka的数据同步主要涉及到生产者和消费者之间的数据传输以及
【基础】Kafka -- 主题与分区
整理总结了 Kafka 中主题以及分区的管理方式
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI
这里我们的配置是选择的是KRaft，因为Kafka官方已经计划在Kafak中移除Zookeeper。对于UI配置项没什么特别要说的，这里只是提一下，注意这里的docker-compose.yml中environment的写法，和上面的Kafka镜像中environment的写法不同，这是两种不同的写
Kafka——Kafka Connect详解
Kafka Connect是一个高伸缩性、高可靠性的数据集成工具，用于在Apache Kafka与其他系统间进行数据搬运以及执行ETL操作，比如Kafka Connect能够将文件系统中某些文件的内容全部灌入Kafka topic中或者是把Kafka topic中的消息导出到外部的数据库系统，如图所
Kafka3.0.0版本——手动调整分区副本示例
Kafka3.0.0版本——手动调整分区副本示例
Kafka生产者性能调优技巧
Kafka是一个分布式流平台，是由LinkedIn开发的一个开源项目。Kafka采用发布-订阅模式，消息的发送者称为“生产者”，消息的接收者称为“消费者”。Kafka以高吞吐量、可靠性和存储容量等优点，成为了大规模实时数据处理的首选。在Kafka中生产者将消息发布到一个Topic（主题）中，并且可以
kafka与zookeeper的集群
zookeeper是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。kafka集群依赖其存储、管理自身元数据、配置。kafka是一个高性能、低延迟、分布式的消息传递系统，特点在于实时处理数据。其集群由多个成员节点broker组成，每个节点都可以独立处理消息传递和存储任务。
使用Flume将日志数据采集并缓存到Kafka
Flume是一个可靠且可扩展的分布式日志收集系统，而Kafka是一个高吞吐量的分布式消息队列。结合使用Flume和Kafka，我们可以实现将日志数据从源头采集并缓存到Kafka中，以便后续的处理和分析。下面是一个示例的Flume配置文件，用于将日志数据采集并发送到Kafka：在上述配置文件中，我们首
Linux常用命令
Linux常用命令
确定kafka对应的zookeeper版本
kafka寻找zookeeper版本
消息队列 Kafka
消息队列 Kafka
Kafka的ACK配置含义详解
Kafka的ACK配置含义详解
架构必备能力——kafka的选型对比及应用场景
经过上述的讲解，我们不难知道Kafka的应用场景非常广泛，你可以只把他当MQ组件，也可以使用它进行日志传输或流处理。它的特点也非常鲜明，就是强大的吞吐量、扩展性和可靠性。当然它与传统MQ组件对比，它在复杂场景下的使用会比较麻烦。但其在大数据领域应用广泛，比如经常作为 Hadoop 的数据源，将数据传
【Kafka】记录一次基于connect-mirror-maker做的Kafka集群迁移完整过程
一个测试环境的kafka集群，Topic有360+，Partition有2000+，部署在虚拟机上，由于多方面原因，要求迁移至k8s容器内（全量迁移），正好可以拿来练一下手。本文主要记录对MM1和MM2的实际操作过程，以及使用过程中遇到的问题及解决方案。
Kafka-深度学习
当我最后更新我的知识时（2021年9月），Apache Kafka是一个流行的分布式消息队列系统，用于可靠地传输和处理大量的实时数据。Kafka的设计目标包括高吞吐量、可扩展性和容错性，使其成为处理实时数据流的理想工具。在本文中，我将为您写一篇关于Kafka的博客，并附上一些Java代码示例，以帮助
Springboot中解决kafka数据重复消费问题
消费者处理比较耗时，一次poll的数据，在max.poll.interval.ms达到最大值后仍未完成，未提交offest，默认值为5分钟。Ⅱ.使用自定义配置kafkaConfig则在消费者配置部分添加。1.提高max.poll.interval.ms的值。Ⅰ.使用springboot自动配置方式。
Windows上安装和配置Apache Kafka
Apache Kafka是一个开源的流式平台，用于处理实时数据流。它可以用于各种用途，包括日志聚合、事件处理、监控等。本文将向您展示如何在Windows操作系统上安装和配置Apache Kafka。
