「Kafka」消费者篇
Kafka 消费方式、Kafka 消费者工作流程、生产经验—分区的分配以及再平衡、offset 位移、生产经验—消费者事务、生产经验—数据积压（消费者如何提高吞吐量）等内容。
Kafka_03_Consumer详解
Consumer详解以及实现原理解析
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-03）
依赖关系分为窄依赖和宽依赖，窄依赖表示每个父RDD的分区最多只被一个子RDD的分区使用，宽依赖表示每个父RDD的分区可以被多个子RDD的分区使用。需要注意的是，RDD的分区函数是针对(Key,Value)类型的RDD，分区函数根据Key对RDD元素进行分区。RDD是Spark提供的最重要的抽象概念，
2024最新Spark核心知识点总结
转换(transformations) ：从已经存在的数据集中创建一个新的数据集，会创建一个新的RDD，例如map操作，会把数据集的每个元素传给函数处理，并生成一个新的RDD，常见如：Map,Filter,FlatMap,GroupByKey,ReduceByKey,Join,Sort,Partio
黑马头条 Kafka
Kafka消息队列，文章上下架，解决头条系统的点赞，评论，收藏等
Java分布式锁理论（redis、zookeeper） 详解
1、定时任务2、秒杀抢购，防止库存超卖的问题3、双写一致性协议比如我们为了高可用性搭建了服务集群，分别是8080和8081，我们在项目中设立定时任务，目的是每天晚上定时拉取用户数据，给每个人发送一些推荐短信。那么这会出现什么问题呢？8080和8081都有定时任务，到半夜2点同时查询数据库，同时调用阿
【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator
将源码DisposableWorkerIdAssigner类加入到自己的项目中，并将其中的mapper方法修改成自己项目中的方法与启动类同级目录新建DisposableWorkerIdAssigner内容如下} else {
【RabbitMQ】交换机的概念及使用
RabbitMQ中，交换机是一个核心概念，主要用来将生产者生产出来的消息，传送到对应的队列中。实际上，生产者生产的消息从不会直接发送到队列，而是发送到交换机。交换机一方面接收来自生产者的消息，另一方面将这些消息推入队列。
Zookeeper的安全性与权限管理
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序的基础设施。它提供了一种可靠的、高性能的、分布式的协同服务，以实现分布式应用程序的一致性。Zookeeper的核心功能包括：集群管理、配置管理、同步服务、组件协同等。在分布式系统中，Zooke
Apache Hadoop介绍, 大数据世界的大门
存储: HDFS, HBase计算: MapReduce, Hive, Spark, Flink传输: Sqoop, Flume, Kafka...下面是关于大数据体系的详细概念图Hadoop之父: 道格 卡丁(Doug Cutting)吉祥物: 大象Hadoop的介绍:在狭义上指的是HDFS,
DataX3.0+DataX-Web部署分布式可视化ETL系统
DataX 是阿里云 DataWorks 数据集成的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。
【Kafka】服务器Broker与Controller详解
Kafka服务器Broker与Controller详解
Zabbix分布式监控系统
Zabbix分布式监控系统
【kafka实战】03 SpringBoot使用kafka生产者和消费者示例
本节主要介绍用SpringBoot进行开发时，使用kafka进行生产和消费。
Kafka 入门笔记
kafka 入门笔记
分布式数据处理：Hadoop与Spark
1.背景介绍分布式数据处理：Hadoop与Spark1. 背景介绍随着数据的增长，传统的单机数据处理方法已经无法满足需求。分布式数据处理技术成为了一种必须的解决方案。Hadoop和Spark是两种非常流行的分布式数据处理技术，它们各自具有不同的优势和特点。本文将详细介绍Hadoop和Spark的核心
【Kafka】 分区和副本 Partition 详解
Kafka分区和副本 Partition 详解
RabbitMQ高可用架构涉及常用功能整理
探讨rabbitmq的系统架构以及以及整体常用的命令和系统分析，本文主要探讨高可用版本的rabbitmq集群，并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_438
RabbitMQ
中间件可以理解为一个帮助不同软件、应用或系统之间交流和数据传输的工具或服务。就像一个翻译员在两个讲不同语言的人之间传递信息，让他们能够互相理解和沟通。中间件位于客户端（比如你的电脑或手机应用）和服务器（存放数据和运行服务的强大计算机）之间，确保数据顺利传输，同时还可以提供额外的功能，比如安全性、数据
Zookeeper的数据watches与监控
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的、高性能的数据同步和协调服务。Zookeeper的核心功能包括数据观察、分布式同步、集群管理等。在分布式系统中，Zookeeper被广泛应用于协调和管理服务器集群、配置管理、数据同步等方面。在分布
