Kafka-核心架构-分区、副本（含副本选举机制）
Kafka分区和副本
消息队列RabbitMQ在Windows中安装与配置完全解析
RabbitMQ是一个由Erlang语言开发的基于AMQP协议的开源中间件。RabbitMQ最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。
spark资源分配
Job 一个 action 算子一个job（save、collect 等）Stage Stage 调度的最小单元，Stage 的划分会产生shuffle。一个Job 由一个或多个StageTask 执行的最小单元，一个 Stage 由一个或多个 Task 组成Parallelism 一个task 就
kafka之consumer参数auto.offset.reset
kafka之consumer参数auto.offset.reset
Centos7安装Zookeeper
安装完成！
【Kafka】Kafka生产者开启幂等性后报错：Cluster authorization failed.
1. 用户业务需求，需要开启生产者的幂等性，生产者加了配置：enable.idempotence = true2. 用户使用的集群开启了ACL认证：SASL_PLAINTEXT/SCRAM-SHA-5123. 用户生产消息时报错：org.apache.kafka.common.errors.Clus
zookeeper+kafka的消息队列
需要注意的是，kafka作为一个支持多生产者多消费者的架构，再写入消息时允许多个生产者写道同一个partition，但是消费者读取的时候一个partition仅允许一个消费者消费，但一个消费者可以消费多个partition。partition的数量决定了组成topic的log的数量， 因此推荐par
Spark RDD结课总结
生成的RDD中保存的是T的值，Seq[String]部分的数据会按照Seq[(T,Seq[String])]的顺序存放到各个分区中，一个Seq[String]对应存放至一个分区，并为数据提供位置信息，通过preferredLocations()方法可以根据位置信息查看每一个分区的值。reduceBy
CDH6.3.2之升级spark-3.3.1
CDH中Spark默认版本2.4.0，我们对Hive升级到3.1.3版本，由于并未找到对应的 spark-hive 包，于是尝试使用Spark-3.3.1。spark3.3.1 for CDH6.3.2 包下载链接。
kafka 常用命令
Kafka 基本的使用命令总结。
消息队列Kafka简单使用(可以直接上手)
记录一下自己快速学习怎么使用Kafka消息队列的过程
Kafka快速入门+SpringBoot简单的秒杀案例
感谢你的关注，欢迎点赞评论交流。
【RabbitMQ】使用手册
publisher：消息发送者comsumer：消息消费者queue：队列-存储消息exchange：交换机-接收发送者发送的消息，并将消息路由到与其绑定的队列virtual-host：虚拟主机-将数据隔离（多个项目使用同一个RabbitMQ时，可以为每个项目建立一个virtual-host，将不同
Kafka知识总结（基本介绍+基本概念）
通过异步处理提高系统性能（减少响应所需时间）削峰/限流降低系统耦合性。
kafka18-PageCache高效写以及mmap调用原理
PageCache（页缓存）是Linux操作系统中一种用来缓存文件系统数据的机制。它的主要作用是在内存中缓存从硬盘文件读取的数据，以提高文件访问速度和系统性能。整个过程通过使用 MMAMP 技术和操作系统的高效刷盘机制，使得 Kafka 在处理大量数据时能够实现高性能和低延迟的数据写入和持久化存储。
kafka服务介绍
Apache Kafka 是一个开源的分布式事件流平台，主要用于实时数据传输和流处理。它最初由 LinkedIn 开发，并在 2011 年成为 Apache 基金会的顶级项目。Kafka 设计的目标是处理大规模的数据流，同时提供高吞吐量、低延迟和高容错性
RabbitMQ的是什么？RabbitMQ的使用场景？为什么要使用RabbitMQ，它对于其他中间件优势是什么？
此外，RabbitMQ还与其他开源工具和框架集成非常好，如Spring Boot、Docker和Kubernetes等，形成了一个强大的生态系统。此外，RabbitMQ的开源性和活跃的社区支持也是其优势之一，这使得开发人员更容易学习和使用该中间件。RabbitMQ提供了丰富的特性，包括多种交换机类型
Zookeeper 一、Zookeeper简介
分布式系统是同时跨越多给物理主机，独立运行的多个软件所组成的系统。类比一下，分布式系统就是一群人一起干活。人多力量大，每个服务器的算力是有限的，但是通过分布式系统，由n个服务器组成起来的集群，算力是可以无限扩张的。分布式系统的协调工作就是通过某种方式，让每个节点的信息能够同步和共享。这依赖于服务进程
Kafka之存储设计
消费者读取的数据都是已经被确认的可靠数据，避免处理未确认数据带来的复杂性和错误。Kafka的压缩过程是定期进行的，时间间隔和触发条件可以通过配置参数来调整。水位线（HW）是 Kafka 中每个分区的一个偏移量，它表示已经被所有同步副本（leader 和 follower）确认并复制的最高偏移量。Ka
从 Kafka 2.x 到 Kafka 3.x：升级之旅
Kafka 3.x 相比 Kafka 2.x 引入了许多新特性和改进，特别是 KRaft 模式的推出，大大简化了集群管理。通过本文的比较和实际应用案例分享，我们可以看到 Kafka 3.x 在性能、稳定性和管理方面的显著提升。对于有大数据流处理需求的企业来说，升级到 Kafka 3.x 是一个值得考
