日志系统二（ilogtail+kafka+logstash+es+kibana）
iLogtail 为可观测场景而生，拥有的轻量级、高性能、自动化配置等诸多生产级别特性，在阿里巴巴以及外部数万家阿里云客户内部广泛应用。你可以将它部署于物理机，虚拟机，Kubernetes 等多种环境中来采集遥测数据，例如logs、traces 和 metrics。
kafka 偏移量的类型与提交方式
kafka 偏移量
50、Flink的单元测试介绍及示例
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
01、Kafka ------ 下载、安装 ZooKeeper 和 Kafka
01、Kafka ------ 下载、安装 ZooKeeper 和 Kafka
flume实验:kafka生产者端通过flume发送信息到HDFS
WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:452) - HDFS IO error：这是一个警告信息，表示Flume在进行HDFS输出时
消息队列zookeeper集群+kafka
可恢复性：系统当中的有一部分组件小时，不影响整个系统，也就是消息队列当中，即使一个处理消息的进程失败，一旦恢复还可以重新加入到队列当中继续处理消息。经纪人：broker每个kafka节点都有一个 borker，每个负责一台kafka，id唯一，存储主题分区当中数据，处理生产和消费者的请求，B启动，在
详解Kafka 复制与副本机制
Apache Kafka 是一个高度可扩展、分布式的消息系统，适用于大规模数据流处理和事件驱动的应用程序。在本文中，我们将深入探讨 Kafka 的复制与副本机制，包括副本同步、复制架构和 ISR（In-Sync Replicas）概念以及分析 Kafka 中的副本管理，以确保 Kafka 的可靠性和
SpringBoot 集成 Kafka (SSL证书)
SpringBoot 集成 Kafka (SSL证书)
Kafka内容分享(七)：Kafka 数据清理和配额限速
Kafka日志管理器中会有一个专门的日志删除任务来定期检测和删除不符合保留条件的日志分段文件，这个周期可以通过broker端参数log.retention.check.interval.ms来配置，默认值为300,000，即5分钟。日志删除任务会检查当前日志的大小是否超过设定的阈值来寻找可删除的日志
为什么每一个爬虫工程师都应该学习 Kafka
上面描述的功能，实际上有不少 MQ 都能实现。但为什么是 Kafka 而不是其他呢？因为Kafka 集群的性能非常高，在垃圾电脑上搭建的集群能抗住每秒10万并发的数据写入量。而如果选择性能好一些的服务器，每秒100万的数据写入也能轻松应对。这篇文章通过两个例子介绍了 Kafka 在爬虫开发中的作用。
一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
Kafka中的fetch-min-size、fetch-max-wait和request.timeout.ms配置
Kafka中的fetch-min-size和fetch-max-wait配置
kafka 集群 KRaft 模式搭建
Apache Kafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka 在2.8版本之后，移除了对Zookeeper的依赖，将依赖于ZooKeeper的控制器改造成了基于Kafka Raft的Quorm控制器，因此可以在不使用ZooKeepe
Kafka
一、简介Kafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统），一种高吞吐量的分布式流处理平台，它可以处理消费者在网站中的所有动作流数
RabbitMQ 和 Kafka 对比
开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。对于RabbitMQ和Kafka，到底应该选哪个？
Zookeeper集群 + Kafka集群的详解与部署（以及Filebeat+Kafka+ELK ）
Zookeeper是一个分布式的开源协调服务，用于管理和维护大型分布式系统中的配置信息、命名服务、状态同步等。它提供了一个可靠的分布式环境，用于协调多个节点之间的通信和管理。Kafka 是一个开源的分布式流处理平台和消息队列系统，最初由 LinkedIn 开发并于2010年成为 Apache 软件基
kafka学习笔记--Topic 数据的存储机制
Topic是逻辑上的概念，而partition是物理上的概念，本来每个partition应对应于一个log文件，该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每
【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse
需求描述：1、数据从 Kafka 写入 ClickHouse。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、先在 ClickHouse 中创建表然后动态获取 ClickHouse 的表结
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
Kafka_01_Kafka初识
Kafka基础概念
