KRaft模式下的Kafka启动指南：摆脱Zookeeper依赖
多年来，人们一直在同时使用Apache ZooKeeper和Apache Kafka。但是自Apache Kafka 3.3发布以来，它就可以在没有ZooKeeper的情况下运行。同时它包含了新的命令kafka-metadata-quorum和kafka-metadata-shell?该如何安装新版
filebeat，kafka，clickhouse，ClickVisual搭建轻量级日志平台
clickhouse，ClickVisual，kafka轻量级日志平台
Spark在YARN上运行图解（资源调度+任务调度）及案例
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
浅谈Kafka（二）
在Kafka启动时会在所有的broker中选择一个controller，leader与follower是针对partition，而controller是针对broker的。创建主题、添加分区、修改副本数量之类的管理任务都是由controller来完成的。Kafka分区leader的选举也是由cont
RabbitMQ工作模式详解，以及Java实现
RabbitMQ共有六种工作模式：简单模式（Simple）、工作队列模式（Work Queue）、发布订阅模式（Publish/Subscribe）、路由模式（Routing）、通配符模式（Topics）、远程调用模式（RPC，不常用，不做讲解说明）
Kafka 的 ACK 的三种机制
在 Kafka 中，生产者发送消息到主题（Topic），而这些消息会被写入到一个或多个分区（Partition）。为了确保消息的可靠性，生产者需要接收到来自 Kafka Broker 的确认（ACK）。ACK 机制决定了生产者在发送消息时，等待多少个副本确认消息已成功写入。Kafka 提供了三种 A
大数据-118 - Flink DataSet 基本介绍 核心特性 创建、转换、输出等
上节研究了Flink的Sink的案例：SinkJDBC，SinkKafka，并且附带了代码的实现案例，本节继续研究FlinkDataSet，包含基本介绍、特性等。Flink 的官方路线图中已经不再优先开发 DataSet API 的新特性，未来的主要开发将集中在 DataStream API，甚至批
大数据-113 Flink DataStreamAPI 程序输入源 自定义输入源 非并行源与并行源
上节研究了Flink的DataStreamAPI，文件、Socket、集合、连接器等内容。本节研究自定义的输入源，包含非并行源与并行源。在 Apache Flink 中，非并行源（Non-Parallel Source）是一种特殊的源操作（Source Operator），它的最大并行度被限制为 1
Kafka【二】关于消费者组（Consumer Group）、分区（partition）和副本（replica）的理解
Apache Kafka 是一个分布式流处理平台，它允许你发布和订阅记录流，存储记录流，并且可以对这些记录流进行处理。在 Kafka 中，消息被发布到特定的主题（topic），然后由消费者（consumer）订阅并消费这些消息。消费者组（Consumer Group）是 Kafka 中的一个重要概念
Day16_Zookeeper
ZAB协议，全称Zookeeper Atomic Broadcast（Zookeeper原子广播协议），是Zookeeper设计的一种支持崩溃恢复和原子广播的协议。集群间通过Zab协议（Zookeeper Atomic Broadcast）来保持数据的一致性；Zab协议包含两个阶段：Zab协议包含两
zookeeper+kafka消息队列群集部署
消息队列是一种软件系统组件，它允许在分布式系统中发送和接收消息。消息队列提供了一种异步通信模式，在这种模式下，发送方和接收方不需要同时在线。消息队列可以存储消息直到接收方准备好处理它们为止。
Spark 中repartition和coalesce的区别
在Apache Spark中，和coalesce是两种用于重新分区RDD或DataFrame的转换操作。它们的主要区别在于它们对分区数量的处理方式和使用场景。repartition 是 coalesce shuffle为True的实现。两者使用的场景。首先，repartition 的shuffle比
Kafka如何保证消息不丢失？
Kafka作为一个消息中间件，他需要结合消息生产者和消费者一起才能工作，一次消息发送包含以下是三个过程：1）Producer端发送消息给Kafka Broker。2）Kafka Broker将消息进行同步并持久化数据。3）Consumer端从Kafka Broker将消息拉取并进行消费。为啥没办法保
前端与rabbitmq通信
我这里只是使用了一种方式，据我了解，还存在amqp、mqtt等消息协议通信。后面会继续补充。
spark入门
Spark是一种快速、通用、可扩展的大数据分析引擎，其核心优势在于内存计算和高效的数据处理能力。Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有H
eureka与客户端---eureka注册中心与服务提供者
总之,Eureka注册中心和服务提供者之间通过一系列的交互和协作,实现了服务的注册、发现、心跳、健康检查、故障处理、扩容缩容等核心功能。注册中心作为服务的注册表,维护了服务提供者的实例信息,并提供了服务查询和管理的接口。服务提供者作为Eureka客户端,通过与注册中心的通信,完成服务的注册、心跳、故
Hadoop 中的大数据技术：调优篇（1）
NameNode内存计算每个文件块大约占用150字节。以一台服务器128GB内存为例，可以存储多少文件块？Hadoop 2.x系列，配置NameNode内存NameNode内存默认为2000MB，如果服务器内存为4GB，NameNode内存可以配置为3GB。在Hadoop 3.x系列，配置NameN
Rabbitmq在windows上安装实践
因为RabbitMQ服务器是用Erlang语言编写的， 所以，需要去查看rabbitMq适应Erlang的版本，因为不同的rabbitMq版本对应不同的Erlang版本。这款插件是可视化的方式查看RabbitMQ服务器实例的状态，以及操控RabbitMQ服务器。双击 rabbitmq-server-
Zookeeper集成Clickhouse方法以及作用
zookeeper和clickhouse结合
Zookeeper用作服务发现～记当牛马的日子
Zookeeper是一个开源的、分布式的协调服务，它可以用于管理和协调大规模的分布式系统。它提供了一个简单的接口，用于处理分布式应用程序中的一些关键任务，比如统一命名服务、配置管理、分布式锁、分布式队列等。Zookeeper设计的目标是高可用性、高性能和严格的顺序访问。它的核心是一个分布式的文件系统
