kafka (常规/后台)启动与关闭
kafka (常规/后台)启动与关闭
springboot 连接 kafka集群(kafka版本 2.13-3.4.0)
消息的接受有多种方式,我们这里选择的是使用 @KafkaListener 注解来进行消息接收。实现该接口的方法,我们可以获取包含发送结果(成功或失败)的异步回调,也就是可以在这个接口的实现中获取发送结果。写一个controller类来测试我们构建的发布者类,这个类中打印接收到的消息,来确保信息接收不
Kafka传输数据到Spark Streaming通过编写程序java、scala程序实现操作
编写生产者代码// 此处配置的是kafka的端口 props . put("metadata.broker.list" , "localhost:9092");// 配置value的序列化类 props . put("serializer.class" , "kafka.serializer.Str
CVE-2023-25194漏洞 Apache Kafka Connect JNDI注入漏洞
CVE-2023-25194漏洞
Java实现Kafka消费者及消息异步回调方式
Java实现Kafka消费者及消息异步回调方式
Prometheus实战教程:监控Kafka消息
使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态
Kafka安全性配置最佳实践
Kafka安全性配置最佳实践一、Kafka 安全性配置1. 安全配置的必要性提高 Kafka 系统的可靠性添加认证配置 代码示例:添加 SSL 配置 代码示例:二、安全性配置的要素2.1 认证2.1.1 SSL 安全协议2.1.2 SASL 验证机制2.2 授权2.2.1 ACL 权限控制2.2.2
kafka通过命令行删除指定topic下所有records
由于在windows环境下,在kafka官网下载下来。
kafka3.4.0版本升级--helm部署
使用helm将kafka升级至3.4.0版本,修复漏洞。
k8s 部署zookeeper-kafka,nfs作为存储
k8s上安装配置zk与kafka
SpringBoot项目集成kafka及常规配置
使用 spring-kafka 的api,在springboot项目中集成kafka能力,封装配置。
kafka topic和topic权限操作
topic创建及权限配置
Kafka的ack机制
Kafka的ACK机制,指的是producer的消息发送确认机制,这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面,两者不可兼得,只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据,不需要得知消息是否被集群接收,这
Kafka安装与配置
1.下载Kafka2.13-3.1.0最新版为kafka_2.13-3.1.0.tgz下载Zookeper最新版为zookeeper-3.8.02.单机安装zookeperKafka依赖于zookeeper,官方承诺将来会移除.解压文件:tar zxvf apache-zookeeper-3.8.0
【项目实战】Kafka 生产者写入分区的策略
生产者写入分区的策略主要有以下几种:1. **轮询分区策略**:生产者可以使用轮询策略将消息依次写入每个分区,实现负载均衡。在每次发送消息时,生产者会按照轮询的方式选择下一个可用的分区,并将消息写入该分区。这样可以确保消息均匀地分布在各个分区中。 2. **随机分区策略**:Kafka生产者随机的将
用好 kafka,你不得不知的那些工具
工欲善其事,必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程,以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具,同时分享了 kafka 集群的部署,值得一提的是 kafka 部署配置
Kafka bootstrap.servers
Kafka bootstrap.servers
kafka 报错 - Cannot assign requested address
因为如果是 kafka 集群,你可以选择只给客户端配置一个 kafka 节点的地址(这样是不推荐的),但是客户端必须要访问集群中的每一个节点,所以必须通过这个节点获得集群中每一个节点的访问地址。而且有的环境可能被配置成这些 kafka 宿主机是没有外网访问权限的,即虽然他可以访问自己的外网ip,但是
filebeat->kafka>elk日志采集
/可以防止日志爆盘,将所有标准输出及标准错误输出到/dev/null空设备,即没有任何输出信息。//启动logstash --path.data 指定数据存储路径。查看消费者consumer的group列表。查看kafka中指定topic的详情。查看指定的group。
kafka使用详解、最佳实践和问题排查
kafka常用概念、与RabbitMQ对比、最佳实践、工具推荐、Spring快速使用和问题排查