Kafka内容分享(七)：Kafka 数据清理和配额限速
Kafka日志管理器中会有一个专门的日志删除任务来定期检测和删除不符合保留条件的日志分段文件，这个周期可以通过broker端参数log.retention.check.interval.ms来配置，默认值为300,000，即5分钟。日志删除任务会检查当前日志的大小是否超过设定的阈值来寻找可删除的日志
为什么每一个爬虫工程师都应该学习 Kafka
上面描述的功能，实际上有不少 MQ 都能实现。但为什么是 Kafka 而不是其他呢？因为Kafka 集群的性能非常高，在垃圾电脑上搭建的集群能抗住每秒10万并发的数据写入量。而如果选择性能好一些的服务器，每秒100万的数据写入也能轻松应对。这篇文章通过两个例子介绍了 Kafka 在爬虫开发中的作用。
一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
Kafka中的fetch-min-size、fetch-max-wait和request.timeout.ms配置
Kafka中的fetch-min-size和fetch-max-wait配置
kafka 集群 KRaft 模式搭建
Apache Kafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka 在2.8版本之后，移除了对Zookeeper的依赖，将依赖于ZooKeeper的控制器改造成了基于Kafka Raft的Quorm控制器，因此可以在不使用ZooKeepe
Kafka
一、简介Kafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统），一种高吞吐量的分布式流处理平台，它可以处理消费者在网站中的所有动作流数
RabbitMQ 和 Kafka 对比
开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。对于RabbitMQ和Kafka，到底应该选哪个？
Zookeeper集群 + Kafka集群的详解与部署（以及Filebeat+Kafka+ELK ）
Zookeeper是一个分布式的开源协调服务，用于管理和维护大型分布式系统中的配置信息、命名服务、状态同步等。它提供了一个可靠的分布式环境，用于协调多个节点之间的通信和管理。Kafka 是一个开源的分布式流处理平台和消息队列系统，最初由 LinkedIn 开发并于2010年成为 Apache 软件基
kafka学习笔记--Topic 数据的存储机制
Topic是逻辑上的概念，而partition是物理上的概念，本来每个partition应对应于一个log文件，该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每
【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse
需求描述：1、数据从 Kafka 写入 ClickHouse。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、先在 ClickHouse 中创建表然后动态获取 ClickHouse 的表结
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
Kafka_01_Kafka初识
Kafka基础概念
docker安装kafka并配置kafka可视化界面
使用docker-compose与docker命令的方式创建单机版kafka，并安装好用的可视化界面kafka-map。
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析
查询需求：根据发件人id + 收件人id + 消息日期 查询聊天记录。Qualifier：与数据中字段名保持一致。设计规则：业务、唯一、长度、散列、启动Hive和yarn。
【kafka+Kraft模式集群+SASL安全认证】
kafka+Kraft模式集群+SASL安全认证
记录一次云服务器使用docker搭建kafka的过程
外网+内外docker使用zookeeper作为注册中心的kafka服务启动过程记录，以及基本使用和springboot集成demo示例。
KafkaLog4jAppender
为你需要的 Log4j 版本。同样，你可能需要调整 Kafka 的版本以匹配你的需求。概念，它负责将日志信息输出到各种目的地，例如控制台、文件、数据库等。的一个扩展，它可以将日志信息发送到 Apache Kafka。2. 接下来，你需要配置 Log4j。的文件，并将其放在项目的类路径下（例如。
关于flink重新提交任务，重复消费kafka的坑
1、savepoint的数据要比checkpoint更加稳定，比如你可以通过移动（拷贝）savepoint 目录到任意地方，然后再进行恢复。checkpoint就不可以，因为他有很多相对路径配置。2、savepoint和checkpoint一般都能作为恢复点使用，例外情况是使用 RocksDB 状态
kafka支持外网访问
listeners 修改为0.0.0.0 监控所有网卡，advertised.listeners 设置为外网ip,具体如下。advertised.listeners=PLAINTEXT://外网映射ip:9092。2.这个时候需要修改kafka的config中的server.properties中的
kafka学习笔记（二）-架构分析
一个partition中包含多个**segment**。一个segment是物理存储消息的最小单元，每个segment包含一定量的消息数据。配置文件中`log.segment.bytes`就定义了segment文件的最大值。segment文件的文件名，是根据下一条消息的偏移量命名的，从而实现了消息的
