Kafka实时数据即席查询应用与实践

Kafka中的实时数据是以Topic的概念进行分类存储,而Topic的数据是有一定时效性的,比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时,如果没有对实时数据进行历史归档,在排查问题时,没有日志追述,会很难定位是哪个环节的问题。

Kafka

大数据面试- Kafka

KafKa 3.x(一、入门)

kafka

Flink Configuration 配置文件的配置

Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup | 默认配置引流:FLINK 的命令 FLINK 的配置 Flink执行说明对 FLINK 的运行命令做完整的介绍参考文章:Flink Configuration

Kafka rebalance 的几种原因与解决方案

JoinGroupmember idStatic Memberrejoin

Kafka系列——详解创建Kafka消费者及相关配置

详解kafka消费者以及消费者组;介绍分区如何分配给消费者,以及分配策略,介绍各种超时参数;介绍超时的行为,心跳发送的细节

Kafka怎么保证数据不丢失,不重复

唯一例外的情况是,我们在程序中给原本做不同功能的两个consumer组设置 KafkaSpoutConfig.bulider.setGroupid的时候设置成了一样的groupid,这种情况会导致这两个组共享同一份数据,就会产生组A消费partition1,partition2中的消息,组B消费pa

Kafka 面试题

1、是什么确保了 Kafka 中服务器的负载平衡?2、消费者 API 的作用是什么?3、解释流 API 的作用?4、Kafka 为什么那么快?5、Kafka 系统工具有哪些类型?6、partition 的数据如何保存到硬盘7、Zookeeper 对于 Kafka 的作用是什么?8、流 API 的作用

简单的kafka命令行操作

简单的kafka命令行操作一、主题topic命令行操作二、生产者命令行操作

kafka的push、pull分别有什么优缺点

在 Kafka 中,生产者使用 push 模式将消息推送给 Kafka 集群,而消费者则使用 pull 模式从 Kafka 集群中拉取消息。本文对 Kafka 的 push 和 pull 两种模式进行比较,分析其优缺点。Pull 模式是 Kafka 新增的方式,使用该模式时,消费者可以自主选择从哪个

Kafka:主题创建、分区修改查看、生产者、消费者

Kafka命令行主题创建、分区修改查看、生产者创建、消费者创建

kafka可视化工具整理(七)

零、主流kafka可视化工具有两种①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用一、本地服务 offsetexplorer1、去kaf

Kafka3.0 SASL安全认证

下面主要介绍Kafka两种认证方式kafka验证方式: SASL/PLAIN:不能动态添加用户配置文件写死账号密码 SASL/SCRAM: 可以动态的添加用户 SASL/PLAIN方式cd /usr/local/kafka/kafka_2.12-3.0.1/bin/## 复制一份sasl cp

Kafka:消费者参数配置

Kafka:消费者参数配置

Kafka的历史版本对应SpringBoot版本

截至目前(2023年),Kafka的最新版本是2.9.0,发布于2022年11月30日。Kafka的历史版本可以在Kafka官方网站的下载页面中找到。Kafka从0.8版本开始发布,经历了多个版本的迭代和升级。每个版本都有其自己的特点和改进,Kafka用户可以根据自己的需要选择合适的版本使用。

linux虚拟机搭建kafka(单节点、使用kafka自带zookeeper)

本文使用kafka单节点安装及配置,并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群,可以连单独的zookeeper,本文不涉及。linux需要开启防火墙,否则可能出现外部连不上虚拟机的kafka的情况。修改kafka/bin/config下的zookeeper.

kafka常用命令大全

kafka命令大全

mq如何保证消息顺序性

刚才说到了一个topic可以有多个Partition,kafka确保每个Partition只能同一个group中的同一个Consumer消费,所以就Consumer来说,可以保证一个Partition的消息顺序消费,然后kafka的Producer端可以根据要发送消息内容,指定Partition K

Kafka重复消费以及消费线程安全关闭的解决方案

Kafka重复消费以及消费线程安全关闭的解决方案

Flume采集数据到Kafka操作详解

Flume采集数据到Kafka操作详解

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈