Rabbitmq报unauthorized异常
处理rabbitmq的unauthorized 异常。Caused by: java.lang.SecurityException: Attempt to deserialize unauthorized class java.util.HashMap;
Kafka-3.3.4摒弃zookeeper集群部署操作文档
Kafka-3.3.4摒弃zookeeper集群部署操作文档
RabbitMq的五大消息模型及Java代码演示
主要介绍RabbitMq的五大消息模型，并通过代码实现各个订阅模型的使用
【大数据Spark】常见面试题（万字！建议收藏）
大数据面试题 spark常见面试题 数据倾斜是在数据处理过程中出现的一种情况，指某些数据分区的大小远远大于其他分区的情况，导致任务执行时间不均衡。因此，对于数据倾斜问题，需要及时检测和解决，采取合理的数据分区策略、数据预处理、使用随机前缀等方式来减少数据倾斜，以提高作业的执行效率和稳定性。综上所述
探索Hadoop：大数据处理的核心技术
Hadoop是由Apache软件基金会开发的一个开源框架，用于存储和处理大型数据集。它最早由Doug Cutting和Mike Cafarella在2006年创建，灵感来自于Google的文件系统（GFS）和MapReduce论文。Hadoop的目标是解决传统数据库系统无法有效处理的大规模数据处理问
从Paxos到Zookeeper：分布性一致性原理与实践（初识Zookeeper）
本文旨在对Zookeeper进行初步认识。
RabbitMq
MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队 列中存放的内容是message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服 务。使用了 MQ 之后，消息发送上游只需
实战大数据：分布式大数据分析处理系统的开发与应用
大数据和分布式系统的发展为数据驱动的决策和创新提供了强大的工具。未来，随着技术的不断进步，大数据技术将会在更多领域发挥重要作用，推动社会的进步和发展。这篇文章提供了一个全面的框架和具体的实现示例，涵盖了大数据处理的各个方面。如果有任何特定的需求或细节需要补充，请随时告知。
Zookeeper简介
ZooKeeper 是 Apache 软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册等服务。什么是ZooKeeper ，ZooKeeper 的三种模式，ZooKeeper 的主要功能，ZooKeeper 的特点以及什么是CAP ，一致性（Consistenc
（保姆级）Spark气象监测数据分析-步骤2.1筛选六大污染物浓度排名前20的时段
首先这篇博客绝对原创。读者遇到编程中的任何问题可以留言，看到了就会回复。
从 Hadoop 迁移，无需淘汰和替换
计算节点：Kubernetes 高效管理计算节点上的无状态 Apache Spark 和 Apache Hive 容器，确保资源利用率和动态扩展。存储层：MinIO纠删码和BitRot保护意味着您可能会丢失多达一半的驱动器数量，但仍然可以恢复，所有这些都不需要维护Hadoop所需的每个数据块的三个副
RabbitMQ的快速开发使用
追求可用性：Kafka、 RocketMQ 、RabbitMQ追求可靠性：RabbitMQ、RocketMQ追求吞吐能力：RocketMQ、Kafka追求消息低延迟：RabbitMQ、Kafka据统计，目前国内消息队列使用最多的还是RabbitMQ，再加上其各方面都比较均衡，稳定性也好。Rabbit
分布式并行训练（DP、DDP、DeepSpeed、Accelerate、Trainer）
分布式并行训练（DP、DDP、DeepSpeed）
Apache Kafka 技术总结
Apache Kafka 技术总结
RabbitMQ从入门到入土
优势：时效性强，等到结果后就返回问题：扩展性差性能下降级联失败问题。
OpenHarmony 4.0 分布式软总线解析：设备发现与传输
OpenHarmony 的分布式软总线子系统为 OpenHarmony 系统提供的通信相关的能力，包括：WLAN 服务能力、蓝牙服务能力、软总线、进程间通信 RPC（Remote Procedure Call）等通信能力。下面我们通过阅读 OpenHarmony 4.0 的源码，来解读一下 Open
八股文系列Spark
两者并没有大的差别。都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTas
RabbitMQ延迟消息
第二种 假设第一条消息的过期时间为30s 第二条消息为10s 但是因为实现方式问题, 队列为先进先出 ,所以只有第一条30s消费完后才会消费10s的消息 所以是满足不了场景。原理: 发送带有过期时间的消息到正常队列中,但是没有消费者,不进行消费,等待消息超时后会被自动投放到死信队列中,消费者直接消费
Kafka详解
consumer 提交offset的时候，kafka Offset manager会首先追加一条新的conmit消息到 _consumer_offset topic中，然后更新对应的缓存，读offset时从缓存中读取，而不是直接读取 _consumer_offset topic。如查找368801的
Zookeeper 最新稳定版本 3.8.4 服务安装与原生 C 静态库编译
注意： /path 代表 apache-zookeeper-3.8.4-bin.tar.gz 的所在的文件夹路径，请在进行以下步骤时替换为 apache-zookeeper-3.8.4-bin.tar.gz 在你系统中的目录（或者直接切换到该目录下，并省略前缀 /path/）。（*为占位符，可以是
