Maxwell的简介与使用
一、简介Maxwell 是由美国Zendesk公司开源,用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作(包括insert、update、delete),并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。Maxwell的工作原理是实
docker创建带SASL认证的kafka
docker创建带SASL认证的kafka
windows环境下搭建kafka
windows环境下搭建kafka
【kafka】Timed out waiting for a node assignment
在做flink任务的时候,报错 详细错误如下在SourceCoordinator中我们调用了start方法启动.启动方法主要做了2件事创建代码如下source.createEnumerator,这里创建仅仅是赋值没啥重要的2.启动Enumerator启动Enumerator方法中也是主要做了3件事
springboot 集成webSocket
springboot 集成webSocket
kafka集群搭建与prometheus监控配置
prometheus监控kafka集群,kafka集群安装,kafka集群两种方式:zookeeper和KRaft
详解Kafka 3.0 稳定版新特性
Kafka 2.8.0正式发布了KRaft的先行版,并且支持在KRaft模式下的部署和运行。KRaft模式下的Kafka可以完全脱离Zookeeper运行,使用自己的基于Raft算法实现的quorum来保证分布式Metadata的一致
Kafka可视化利器 KafkaTool 发送kafka消息
利用KafkaTool 发送kafka消息
实时数据仓库
实时仓库知识点
kafka消费者组
消费者组是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组,那么组内必然可以有多个消费者或消费者实例,它们共享一个公共的ID,即group ID。
Flink 之 Kafka连接器
Flink 之 Kafka连接器
kafka 常用命令行操作(查看主题,生产数据,消费数据)
一 topic相关操作1.1 查看 主题命令参数[root@localhost kafka_2.12-2.1.0]# bin/kafka-topics.shCreate, delete, describe, or change a topic.Option Desc
kafka操作指南
kafka相关操作
kafka的存储和容错机制
kafka的存储策略和容错机制
Kafka如何实现延迟队列?
Kafka如何实现延迟队列?
Springboot整合kafka
1. 整合kafka1、引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kaf
Filebeat部署+Kafka接收消息
单机版filebeat搭建,Filebeat部署+Kafka接收消息
正确使用docker compose安装Kafka并运行示例
kafka spring boot
spring设置kafka超时时间没有生效的解决方法(解决rebalancing问题)
最近生产kafka遇到一个问题,总是隔几分钟就,导致没有消费者、消息堆积;平衡好后,正常消费消息几分钟后,就又开始,消息再次堆积,一直循环。此时组里的所有topic都会没有消费者。用户明显感觉到系统变慢,需要想办法解决这个问题。
如何删除kafka主题数据
kafka消息在过了保留周期之后会被自动清除。但总有一些情况,需要立刻删除消息。假设这样场景:已经开始给kafka主题生产消息的应用发现了缺陷,接着bug修复程序需要更新,这是kafka主题中已经了一些错误的消息。这样场景通常在开发环境,我们需要的就是快速批量删除这些消息。本文介绍了几种方式删除ka