【RabbitMQ】Windows下RabbitMQ的安装和部署
RabbitMQ在windows下安装部署
实战：ZooKeeper 操作命令和集群部署
访问Apache ZooKeeper的官方网站（https://zookeeper.apache.org/）或镜像站点，下载最新版本的ZooKeeper安装包。ZooKeeper的操作命令主要用于对ZooKeeper服务中的节点进行创建、查看、修改和删除等操作。这些命令是ZooKeeper操作中常用
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
上节完成了Kafka JavaAPI的使用，在SpringBoot中进行测试。本节研究Kafka的高级特性，消息发送相关的：基本流程 和 原理剖析部分。该配置设置了一个延迟，生产者消息不会立即将消息送到Broker，而是等待这么一段时间以积累消息，然后将这段消息之类的消息作为一个批次发送，该设置是批
Hadoop的读写流程
HDFS是一个高度容错的分布式文件系统，它设计用于运行在通用硬件上。HDFS将数据分割成固定大小的块，并将这些块存储在多个节点上，以实现数据的高可用性和可扩展性。每个数据块都会被复制到多个节点上，形成一个副本集，从而确保数据的可靠性。
Spark内存模型
Spark 内存管理分为静态内存管理和统一内存管理，在 Spark 1.6 之前是采用的静态内存，之后的版本都是采用统一内存管理，与静态内存管理的区别在于 Storeage 内存和 Execution 内存共享统一块空间，可以动态占用对方的空闲区域。
虚拟机配置RabbitMQ集群教程
RabbitMQ是常用的一款消息中间件，那么如何在我们虚拟机中创建其集群呢？跟着博主这篇文章让你一步到位本篇搭建的是三台机器为一个集群！假设大家虚拟机都为初始化状态，从0开始（注意集群搭建需要CentOS8以上环境！可以点击下载）
大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡
上节我们完成了消费组测试、消费组心跳机制、相关配置参数等内容。本节研究Kafka高级特性的 主题与分区 自定义反序列 拦截器 位移提交 重平衡 如何避免重平衡等概念问题。重平衡可以说是Kafka中诟病最厉害的一部分。重平衡是一个协议，它规定了如何让消费者组下的所有消费者来分配Topic中每一个分区。
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解
上节Spark的RDD介绍、RDD特点、Spark编程模型。本节研究SparkRDD的创建，RDD-Transformation操作算子，并附带测试案例，详细过程。转换得到RDD是惰性求值，也就是说，整个转换过程只有记录了转换的轨迹，并不会发生真正的计算，只有遇到Action操作时，才会发生真正的计
如何查看Kafka的偏移量offset
如何查看Kafka的偏移量offset
centos7搭建zookeeper 集群 1主2从
为了方便快捷的安装。可以将192.168.83.144上已经配置好的zookeeper复制一份到192.168.83.145 和 192.168.83.146上即可。当前操作的是192.168.83.144，对应的序号是1.所以使用以下的命令将id写入myid文件中。在192.168.83.145的
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
上节研究了Kafka的稳定性-一致性保证，而且研究了LEO和HW，以及Leader和Follower何时更新LEO和HW。本节研究消费消息重复，出现数据重复的环节有：生产者阶段、Broker阶段、消费者阶段。以及给出对应阶段的解决方案。
深挖Redis分布式缓存：你还在为缓存架构感到困惑吗？灵办AI为你揭开文献背后的秘密！
本文深入探讨了Redis分布式缓存架构的核心原理，旨在为技术开发者解开其复杂性的谜团。通过灵办AI的强大分析能力，我们从文献中提取了关键技术细节，帮助读者全面理解分布式缓存的设计逻辑与最佳实践。文章聚焦于Redis的高效数据存储机制、缓存一致性策略以及分布式环境下的性能优化方法，并提供了具体的案例分
Zookeeper文件系统操作命令
zk命令及客户端
Kafka吞吐量高的原因
Apache Kafka能够实现高吞吐量的原因归结于其独特的设计和架构选择。
大数据-63 Kafka 高级特性 分区 副本机制 宕机恢复 Leader选举
上节完成kafka-topics基本参数和使用，涉及创建、查看、修改等等内容。本节学习Kafka的高级特性：分区，包含副本机制、宕机恢复、Leader的选举。副本之间的关系并不是固定不变的，在Leader所在的Broker发生故障的时候，就需要进行分区的Leader副本和Follower副本之间的切
大数据-67 Kafka 高级特性 分区 分配策略 Ranger、RoundRobin、Sticky、自定义分区器
上节Kafka高级特性分区-副本数量调整，业务中遇到副本调整需求，但是无法直接修改，需要JSON+脚本的方式来进行配置。本节分区-分区策略，有Ranger、RoundRobin、Sticky等策略，最后实现自定义分区器。需要实现org.apache.kafka.clients.consumer.in
Spark Structured Streaming窗口聚合和非窗口聚合
两者都用于对数据进行聚合操作，支持类似的聚合函数（如求和、平均值等）窗口聚合基于时间窗口进行计算，适用于流处理；非窗口聚合对整个数据集进行计算，适用于批处理，你可以这样理解，离线计算本身就是一个非常大的窗口计算，窗口大到容纳下所有的数据，而事实计算的窗口是比较小的窗口，也就是计算结果只是数据集上的一
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
上节完成模拟Kafka集群中的分区重新分配，当线上Kafka节点不够用时，新增节点后，分区不会分配，需要脚本来重新分配。本节我们继续研究分区中Broker的自动再平衡，当Broker宕机再恢复后，分区也不会恢复，需要脚本进行自动再重平衡。
ZooKeeper 实战：如何使用 Watcher
例如针对 NodeDataChanged 事件，ZooKeeper 的 Watcher 只会通知客户端指定数据节点的数据内容发生了变更，而对于原始数据以及变更后的新数据都无法从这个事件中直接获取到，而是需要客户端主要重新去获取数据——这也是 ZooKeeper 的 Watcher 机制的一个非常重要
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
上节完成了Kafka高级特性的磁盘存储部分，涉及到零拷贝、磁盘文件传输、JavaNIO、mmap、sendfile等概念信息。本节继续Kafka高级特性：事务（概念较多很枯燥。生产者可以显式的发起事务会话，在这些会话中发送（事务）消息，并提交或中止事务。原子性：消费者的应用程序不应暴露于未提交的消息
