【kafka】实时数据存储
kafka是一个高吞吐的分布式消息系统分区：分布式副本：容错性。
Ubuntu 安装Kafka
在本指南中，我们将逐步演示如何在 Ubuntu 22.04 上安装 Apache Kafka。在大数据中，数以百万计的数据源生成了大量的数据记录流，这些数据源包括社交媒体平台、企业系统、移动应用程序和物联网设备等。如此庞大的数据带来的主要挑战有两个方面：高效的数据收集和分析。为了克服这些挑战，您需要
ubantu安装kafka
在官网下载所需版本，我这里以kafka_2.12-2.7.0为例。
深入理解Kafka3.6.0的核心概念，搭建与使用
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流
kafka、zookeeper、flink测试环境、docker
kafka、zookeeper、flink测试环境
记一次Kafka重复消费解决过程
而且kafka消息拉取参数max-poll-records设置了500，意味着一次会批量拉取500条消息到本地处理，而max.poll.interval.ms参数默认是5分钟，当500条消息处理时长超过5分钟后，就会认为消费者死掉了，触发再均衡，导致同一个消息被重复消费。，一次拉取数据的最大数据量，
搭建ELK+Filebead+zookeeper+kafka实验
20.0.0.56的配置文件。这边不演示了,参考前面的博客。20.0.0.57配置文件。
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
解密Kafka主题的分区策略：提升实时数据处理的关键
理解Kafka主题的分区策略对于构建高性能的消息传递系统至关重要。深入探讨Kafka分区策略的重要性以及如何在分布式消息传递中使用它。Kafka是一个分布式消息传递系统，用于实现高吞吐量的数据流。消息传递系统的核心是主题（Topics），而这些主题可以包含多个分区（Partitions）。分区是Ka
Kafka（三）生产者发送消息
消息格式为JSON, 使用Jackson将类序列化为JSON字符串@Override在实际编码过程中，可以参考官方写的Kafka权威指南对应章节书写，或者参考各大云服务厂商的Kafak的开发者文档。不过我建议还是看Kafka权威指南， 我看了阿里云和华为云的，虽然都号称兼容开源Kafka，但是发现其
spring-kafka中ContainerProperties.AckMode详解
本文是一个深入讨论如何通过优化 Kafka 的消费者确认模式来提升 I/O 密集型系统性能的案例研究。首先分享了一个实际的性能问题，通过改变一行代码中的 Kafka 消费者确认模式配置，系统性能提升了几十倍。这引出了文章的主题：Spring-Kafka 中的七种确认模式（包括两种手动确认模式和五种自
Flink和Kafka连接时的精确一次保证
Flink和Kafka连接时的精确一次保证
6.2、Flink数据写入到Kafka
Flink数据写入到Kafka
kerberos认证Flink的kafka connector和kafka client配置
flink-connector-kafka 和 kafka client 在kerberos连接方式
在Linux操作系统上安装 kafka
在启动Kafka broker之前，您需要先启动Zookeeper实例。您可以从官方网站（https://kafka.apache.org/downloads）上下载最新版本的Kafka。其中，your_host_name是您计算机的主机名，这将是Kafka broker公开的地址。Kafka是一个
分布式 - 消息队列Kafka：Kafka 消费者消费位移的提交方式
到目前为止，我们知道消息的拉取是根据poll（）方法中的逻辑来处理的，这个poll（）方法中的逻辑对于普通的开发人员而言是一个黑盒，无法精确地掌控其消费的起始位置。与消费者中的其他处理过程一样，自动提交也是在轮询循环中进行的。假设刚刚提交完一次消费位移，然后拉取一批消息进行消费，在下一次自动提交消费
从零到Kafka：万字带你体验Spring Boot整合消息驱动的奇妙之旅
在Kafka 中，可以自定义消息的序列化和反序列化过程，以便按照需求对消息进行定制化处理。一般来说，Kafka 使用的默认序列化器是基于字节数组的序列化和反序列化。但有时候为了处理更复杂的消息格式需要自定义序列化器来处理。在Kafka中，如果需要使用自定义的序列化器，可以实现接口。假设处理自定义的对
Kafka保证消息幂等以及解决方案
1、幂等的基本概念幂等简单点讲，就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会产生任何副作用。幂等分很多种，比如接口的幂等、消息的幂等，它是分布式系统设计时必须要考虑的一个方面。查询操作(天然幂等)查询一次和查询多次，在数据不变的情况下，查询结果是一样的。查询是天然的幂等操作删除
zookeeper和kafka的安全认证机制SASL（静态）
zookeeper和kafka的安全认证机制SASL
【Docker】手把手教你使用Docker搭建kafka【详细教程】
手把手教你使用Docker搭建kafka
