MQ - KAFKA 高级篇
网卡/磁盘等都可以认为是DMA设备,是一个半自治单元,比如网卡有它自己的运算单元(相当于特异化的cpu)和自己的缓存,网卡接收和发送数据时是不需要cpu的全程参与的,磁盘也是类似的.简单来讲就是dma设备就是cpu领导下的一个不太聪明的小弟,cpu负责指挥小弟去干活,但干活的过程中是不需要cpu参与
kafka中消息key作用与分区规则关系
在 kafka 2.0.0 的 java sdk 中ProducerRecord 中类注释如下说明了 key 与分区编号的关系。
Kafka消息发送失败的常见原因及解决方案
异步确认:生产者在发送消息后不等待Kafka服务器的确认响应,而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间,当消息发送失败时,Kafka生产者将自动进行重试。- 同步确认:生产者在发送消息后,等待Kafka服务器的确认响应,直到收到确认响应之后才继续发送下一条消息。这种方式
Kafka3.0.0版本——集群部署(linux环境-centos7)
Kafka3.0.0版本——集群部署(linux环境-centos7)
Flink借助Kafka实现端到端精准一次
Flink结束Kafka实现端到端精准一次,包含检查点,保存点,状态后端的概念
(二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作
Kafka中的auto-offset-reset配置
如果kafka服务器记录有消费者消费到的offset,那么消费者会从该offset开始消费。如果Kafka中没有初始偏移量,或者当前偏移量在服务器上不再存在(例如,因为该数据已被删除),那么这时 auto.offset.reset 配置项就会起作用。
kafka详解
消息中间件处理节点,一个 Kafka 节点就是一个 Broker,一个或者多个 Broker 可以组成一个 Kafka 集群。
UI for Apache Kafka
UI for Apache Kafka
Kafka 基础知识-01
Kafka基础知识
2023_Spark_实验二十四:Kafka集群环境搭建
KafKa集群环境的搭建,zookeeper集群搭建,Kafka部署验证,2023
【kafka性能测试脚本详解、性能测试、性能分析与性能调优】
官方在kafka高版本发行时,修改了这个默认值,暂时理解为官网的推荐设置,但对于实时性较高的业务,比如实时统计用户访问量的分析,一般会启用这个配置,即设置为true,但对于可靠性较高的业务,比如银行的业务,宁可花费几分钟或几个小时的延时后再处理像信用卡支付的业务,也不会冒险处理错误的消息。因此,按真
关于Flume-Kafka-Flume的模式进行数据采集操作
关于Flume-Kafka-Flume的模式进行数据采集操作
kafka个人笔记
大部分内容源于, 本人手敲一边加强印象方便复习。
2023_Spark_实验二十三:Kafka的安装与基本操作
Kafka单节点模式部署,并测试
Kafka的启动、关闭及相关命令
在使用Kafka时,我们需要了解如何启动和关闭Kafka服务以及相关的命令。同时,熟悉和掌握Kafka的相关命令可以帮助我们管理和操作Kafka集群,实现高效的数据流处理。在启动Kafka Broker之前,需要准备一个Kafka配置文件,其中包含了Kafka Broker的相关配置信息。除了启动和
Windows 10 也能安装Kafka?这篇教程让你轻松掌握!
打开cmd,进入D:\kafka_2.13-2.8.1\bin\windows,输入kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test。1、下载
kafka基本使用及结合Java使用
Kafka的安装与基本使用,单播与多播消息的实现,主题、分区、集群、副本的创建以及注意事项,结合Java客户端实现生产者与消费者,Springboot中使用Kafka
Windows安装kafka
Windows启动kafka报错解决方式:输入行太长
ELK日志分析系统之(Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch)
ELK企业级日志分析系统之(Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch)