Kafka消息可视化工具-Offset Explorer使用
Kafka消息可视化工具-Offset Explorer使用
【MQ我可以讲一个小时】
再聊聊消息队列高可用问题，对于RocketMQ来说可以使用Dledger主从架构来保证消息队列的高可用，这个在上面也有提到过。然后在说说rabbitmq，它提供了一种叫镜像集群模式，在镜像集群模式下，你创建的 queue，无论元数据还是 queue 里的消息都会存在于多个实例上，就是说，每个 Rab
kafka可视化客户端工具（Kafka Tool）的使用
本文来说下kafka可视化客户端工具（Kafka Tool）的使用文章目录概述概述
RocketMQ事务消息
RocketMQ 事务消息
【2021最新版】Kafka面试题总结（25道题含答案解析）
文章目录1、Kafka是什么？2、partition的数据文件（offffset，MessageSize，data）3、数据文件分段 segment（顺序读写、分段命令、二分查找）4、负载均衡（partition会均衡分布到不同broker上）5、批量发送6、压缩（GZIP或Snappy）7、消费者
Kafka配置用户名密码访问
1 软件版本kafka_2.12-2.4.0.tgz（带zookeeper）2 kafka服务端部署2.1 将安装包上传到服务器，并解压tar zxvf kafka_2.12-2.4.0.tgz -C /datamv kafka_2.12-2.4.0 kafka2.2 修改kafka配置文件 ser
[Spark、hadoop]Spark Streaming整合kafka实战
Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka 具备消息系
kafka简介
Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。这里主要介绍其原理，至于具体的安装等操作不做介绍，只是提示一下，第一次运行时，先设置前台运行，看会不会报错。架构注意下图没有画上zookeeper，请自行脑补。kafka需要连接到zookeeper，来
【Kafka】Kafka的重复消费和消息丢失问题
在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的，比较典型的就是消费端
[Spark、hadoop]spark Streaming的核心DStream
1.SparkStreaming提供了一个高级抽象的流，即DStream(离散流)。2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。
Springboot 配置使用 Kafka
不多BB讲原理，只教你怎么用，看了全网没有比我更详细的了，yml 配置，Config 工厂代码配置都有，batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有，批量消费、开启事务、定义批量消费数量、延时
【kafka专栏】生产者数据批量发送流程源码解析
kafka生产者数据发送流程源码解析
编码技巧——@KafkaListener的使用
最近在接手某个项目代码时，发现关于Kafka的consumer相关的代码写的很乱，consumer中写了大量的配置的代码，并且手动的拉取消息，并开启线程消费，不够优雅；理想的做法是单独维护kafka的consumer配置，在定义consumer的bean时，指定topic和group，仅实现消费逻辑
Springboot中使用kafka
首先说明，本人之前没用过zookeeper、kafka等，尚硅谷十几个小时的教程实在没有耐心看，现在我也不知道分区、副本之类的概念。用kafka只是听说他比RabbitMQ快，我也是昨天晚上刚使用，下文中若有讲错的地方或者我的理解与它的本质有偏差的地方请包涵。此文背景的环境是windows，linu
springBoot集成Kafka
spring boot集成Kafka
【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本
在kafka3.0中已经可以将zookeeper去掉，kafka集群不再必须依赖zookeeper，这为运维强度的下降提供了非常多的帮助。本文为大家介绍kafka3.0，不用zookeeper如何进行集群的安装。
【kafka专栏】生产者同步及异步发送数据三种方式
apache kafka生产者客户端三种同步及异步发送数据的方式
kafka安装部署
一、安装kafka下载kafka两种方式（1）、手动下载 下载地址：Apache Kafka（2）、也可以用命令下载（直接下载到服务器哦！）：将安装包下载到/opt/monitor/kafka文件夹下面下载命令： wget http://mirrors.hust.edu.cn/apache/k
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_con
通过java方式使用Kafka
基于Java API方式使用Kafka
