项目Es、kafka、mysql容量评估方案和服务器资源预估方案
正确的思想更具大厂经验建议（空间换技术）也就是机器多换技术简单（别把技术玩的太极限，亏钱的时候剩下那点就是九牛一毛，所以建议靠谱技术加横向扩展机器为最稳定方案）实际空间 = 源数据 × (1 + 副本数量) × (1 + 数据膨胀) / (1 - 内部任务开销) / (1 - 操作系统预留)存储容量
kafka消费组查看和删除
生产环境监控发现kafka存在大量消费组 查看消费组信息：./kafka-consumer-groups.sh --bootstrap-server ip:port --list查看特定消费组信息：./kafka-consumer-groups.sh --bootstrap-server ip:po
【Jeepay】02-Kafka实现延迟消息与广播模式详细设计
在专题的上一章中，重点讲解了项目的改造背景、难点分析。之所以会如此的追本溯源的去记录，第一是因为：一个可以落地的解决方案的敲定，是综合项目各方面的原因得到的。没有完美的架构，只有刚好的架构；没有满足一切的架构，只有满足目标的架构。第二是因为想要通过这样的记录，让后面的同学能快速的理解：实践中并不需要
kafka如何在运行中增加分区并重新分配副本
kafka如何在运行中增加分区并重新分配副本
Spark Streaming + Kafka构建实时数据流
因为在这个例子中，数据是实时流式处理的，而不是一次处理一个批次的静态数据。流式数据的实时特性意味着数据不断更新，因此很难保持缓存的数据与最新的数据的一致性。所以在流处理中，更有效的性能优化方法是使用更高效的算法，并通过对流数据的精细控制来调整计算中的批大小和触发机制，而不是简单地使用缓存方法。这个是
linux部署单机kafka（使用kafka自带zookeeper）
本文使用kafka单节点安装及配置，并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群，可以连单独的zookeeper，本文不涉及。
监控kafka topic，钉钉报警
没有使用一些重量级的组件，尽可能的快速的解决问题。
kafka-报错-The coordinator is not aware of this member
kafka-报错-“The coordinator is not aware of this member”。我在项目里把原来用着的 独立消费者 consumer-group-id 同时当做消费者组来消费分区信息，导致协调器找不到这个 consumer-group-id
kafka入门，生产者异步发送、回调函数，同步发送（四）
生产者异步发送、回调函数，同步发送
windows 上 Kafka 启动
1. 下载Kafka 官网下载链接本例 下载的是 kafka_2.12-3.1.0.tgz下载后解压2. 启动服务需遵循以下几步, 依次打开新的命令行启动, 也不要关闭之前的命令行窗口cmd 至 D:\tools\kafka_2.12-3.1.0启动 Zookeeper 服务, 默认端口 2181b
SpringBoot集成Kafka的简单实现案列
通过zookeeper的协调机制，生产者保存相应主题的broker信息，可以随机或轮询的方式发送给broker;4.1，首先引入kafka的template就像redis一样首相要有一个template才可继续，如果是自定义配置类也可以引入配置类进行操作，kafka目前做数据分析，聚合，采集，流处理
Java实现Kafka指定(offset)位置进行消费
java实现Kafka指定offset位置进行消费及历史数据重复消费
使用 Spring Boot 整合 Kafka：实现高效的消息传递
在这篇文章中，我们介绍了如何使用 Spring Boot 整合 Kafka。我们学习了如何配置和使用 Spring Boot 和 Kafka 来实现高效的消息传递。Kafka 是一个流行的消息传递系统，它具有高可靠性和高性能。Spring Boot 提供了一种快速、灵活且生产就绪的方法来构建 Jav
kafka-consumer-消费者代码实例
kafka-consumer-消费者代码实例
Kafka Connect JdbcSinkConnector的schema处理
1.使用Confluent Schema Registry 在写入kafka时，就用Avro、Protobuf 或 JSON Schema的converter进行schema的转换。kafka connect当写入到Mysql这类的关系型数据库时，使用JdbcSinkConnector，且kafka
Kafka：消费者手动提交
Kafka：设置消费者手动提交offset
Kafka生成者/消费组详解
什么是KafkaKafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
Kafka有几种消费者分区分配策略？
这样可以明显减少系统资源的浪费，例如：之前consumer0、consumer1之前正在消费某几个分区，但由于rebalance发生，导致consumer0、consumer1需要重新消费之前正在处理的分区，导致不必要的系统开销。RoundRobinAssignor轮询策略是将消费组内所有消费者以及
Apache Kafka-通过API获取主题所有分区的积压消息数量
【代码】Apache Kafka-通过API获取主题所有分区的积压消息数量。
java 集成kafka（支持单条消费和批量消费）
1、下载安装zk，kafka...（大把教程，不在这里过多阐述）8、测试类分别测试单条消费以及批量消费。7、消费者配置类（配置批量消费）5、生产者发消息的工具类。
