Redis----取代RabbitMq 和 Kafka的解决方案
redis中一种特殊的数据结构，zset，消息序列化成一个字符串作为zset的value，消息的到期时间作为他们的score，用多个线程轮询zset获取到期的任务处理。（多个线程保证可用，一个线程挂了还有其他的）已知rabbitmq和kafka作为消息中间件来给程序之间增加异步消息传递功能，这两个中
Spark Streaming 整合 Kafka
同时从输出中也可以看到在程序中指定的 `groupId` 和程序自动分配的 `clientId`。在示例代码中 `kafkaParams` 封装了 Kafka 消费者的属性，这些属性和 Spark Streaming 无关，是 Kafka 原生 API 中就有定义的。在示例代码中，我们实际上并没有指
Kafka 安装部署-单节点
Kafka单节点部署及使用
Kafka消费端concurrency参数
首先说一下结论，这个参数用来增加消费者实例，或者可以理解为@KafkaListener注解实例的数量。当消费者服务数量小于topic的分区数的时候使用此参数可以提升消费能力，spring-kafka在初始化的时候会启动concurrency个Consumer线程来执行里面的方法。用来直接调用kafk
【Docker的使用基础】Mac下利用Docker安装 Kafka
【Docker的使用基础】Mac下利用Docker安装 Kafka
【大数据】Kafka 实战教程（一）
应用往 Kafka 写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？
kafka 集群的安装以及配置
kafka 集群的安装以及配置
离谱！面试为啥都问Kafka？赶紧补一下
Apache Kafka是一个高吞吐量、分布式、可水平扩展的消息传递系统，最初由LinkedIn开发。它的目标是解决海量数据的实时流式处理和传输问题。Kafka的核心思想是将数据转化为流，并以发布-订阅的方式传递。上图描述了Kafka的核心概念和数据流向。从中可以看出，生产者将消息发布到主题，消费者
filebeat到kafka示例
filebeat到kafka示例
Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构、部署实例
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（pa
Flume实战篇-采集Kafka到hdfs
Flume实战篇-采集Kafka到hdfs
MQ 的基本原理
对于 MQ 来说，不管是 RocketMQ、Kafka 还是其他消息队列，下面我们以这个本质作为根，一起由浅入深地聊聊 MQ。01 从 MQ 的本质说起将 MQ 掰开了揉碎了来看，都是「一发一存一消费」，再直白点就是一个「转发器」。生产者先将消息投递一个叫做「队列」的容器中，然后再从这个容器中取出消
Kafka3.0.0版本——消费者（自动提交 offset）
Kafka3.0.0版本——消费者（自动提交 offset）
Kafka快速入门(最新版3.6.0)
kafka解决通信问题
记一次docker安装kafka，zookeeper拒绝连接的问题
kafka的启动参数KAFKA_ZOOKEEPER_CONNECT不能是localhost:2181，因为不是在一个容器中，localhost改为ip地址就可以了。确保 ZooKeeper 容器中的 /conf 目录中存在 log4j.properties 配置文件。nc 命令连接到 localho
【flink sql】kafka连接器
R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。连接器可以读出消息格式的元数据。格式元数据的配置键以 ‘value.’ 作为前缀。Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。以下的
配置 Zabbix Server 监控 Kafka 集群
Kafka 集群默认支持 Zabbix 监控服务，需登录 Zabbix Server 的 Web 界面进行监控配置才能正常使用 Zabbix 监控。yum install -y zabbix-get #安装 zabbix 主动获取数据的命令。若安装 Zabbix 的服务
Kafka与Flume的对比分析
Kafka的生态完善丰富支持更多的数据类型和协议。每个Partition都有一个Offset，消费者可以跟踪每个Partition的Offset，以确保数据的正确性。Kafka是一种更通用的系统，可用于更广泛的事物（包括消息队列、事件存储或日志存储），而Flume则是专门为日志存储及采集而设。在数据
【Java八股文总结】之消息队列
一文快速掌握消息队列秋招面试必考题
【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构（附部署实例）
Zookeeper；消息队列和中间件；Filebeat+Kafka+ELK架构
