FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
flink连接kafka并把相应的通过kafka输入的内容sink到redis
启动zookeeper和kafka时 kafka无法启动或者闪退
kafka无法启动或者kafka启动以后 kafka进程自动挂掉查看kafka日志位置 server.properties 我的路径是/opt/module/kafka/config/server.properties)第59行就是kafka日志的默认位置datas下的文件全部删除查看zoo
【建议收藏】华为OD面试，什么场景下会使用到kafka，消息消费中需要注意哪些问题，kafka的幂等性，联合索引等问题
1️⃣ 生产者端处理幂等性：Kafka 生产者端可以通过设置消息 ID 和序列号等方式来处理幂等性，确保同一条消息只会被写入一次，而不会被重复写入。2️⃣ 手动处理：如果自动重试无法解决消费失败的问题，可以通过手动处理来处理消费失败的消息，比如将其保存到文件或数据库中，以便后续处理或人工处理。5️⃣
nginx 代理kafka
本文通过nignx 80端口代理kafka9092端口。
kafka安全认证与授权（SASL/PLAIN）
快速搭建kafka SASL+ACL实现安全认证、授权kafka SASL/PLAIN
消息队列kafka及zookeeper机制
本文主要讲解kafka消息队列以及zookeeper的使用，讲解了zookeeper的部署、kafka的部署以及如何排查错误。讲解了kafka的工作原理以及特点、讲解了zookeeper的工作原理以及特点、
Kafka监控EFAK(Kafka-eagle)部署与踩坑详细记录
Kafka图形化监控 EFAK，Kafka-eagle部署与踩坑详细记录。mysql的ke数据库的表创建语句；内存和CPU以及Version展示异常；ERROR - JMX service url[xxxx:9999] create has error,msg is java.lang.NullPo
三.Kafka入门到精通-SpringBoot整合Kafka(同步&异步消息&事务消息&手动确认)
前面两个章节我们把Kafka给安装起来然后使用命令演示是生产和消费的过程，以及Kafka的架构原理，接下来就是Kafka的实战使用，顺应如今企业流行的开发模式，当然要使用SpringBoot和Kafka进行整合。第一步：我们基于SpringBoot来快速入门Kafka，我这里使用的SpringBoo
kafka一致性保证
介绍了kafka的一致性
ubuntu安装kafka
ubuntu kafka
原理实践，全面讲解Logstash+Kibana+kafka
Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。而在官网，对于Logstash的介绍更是完整，我这里就展示一下官网的介绍输入：采集各种样式、大小和来源的数据过滤器：实时解析和转换数据输出：选择
canal-server使用
canal-server一直无法启动, 查看日志显示 admin:auth error原因: canal-server配置的参数, 账号密码使用错误(使用了canal-admin ui的登录账号和密码)部署的admin当天登录正常, 隔天登录后台就显示 network error原因: 使用启动ca
kafka：java集成 kafka(springboot集成、客户端集成)
对于java的kafka集成，一般选用springboot集成kafka，但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容，这个时候就得自己根据kafka客户端api集成了。
Kafka学习篇1：Docker安装Kafka（单机默认参数版，依赖于Zookeeper）
单机版Kafka的Docker简易安装（Zookeeper模式）。注：本文仅适用于有Docker容器使用基础、Linux命令基础的编程人员，请确保Linux中已经安装了Docker。
如何监控Kafka？他们的关键监测指标是什么
Kafka 是由 LinkedIn 开发一个分布式的基于发布订阅模式的消息队列，是一个实时数据处理系统，可以横向扩展。异步处理服务解耦流量削峰下图是异步处理的示例图。
玩转 jmeter backend listener kafka
说到JMeter后端监听器，大家接触比较多的是Influxdb监听器InfluxdbBackendListenerClient，可以将测试报告实时推送到Influxdb，然后用Grafana展示。但是这种方式在大并发情况下，会因为吞吐量过大，Influxdb本身的性能瓶颈，无法支撑（Influxdb
Kafka事务消息详解
如果消费者先处理消息后提交位移，那么如果在消息处理之后在位移提交之前消费者宕机了，那么重新上线后，会从上一次位移提交的位置拉取，这就导致了重复消息，对应 at least once。反过来，如果先提交位移后处理消息，就有可能会造成消息的丢失，对应 at most once。设置为 true即可（默认
配置Kafka消息保留时间
本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka搭建过程及问题解决
大数据面试重点之kafka(六)
大数据面试重点之kafka(六)
