Go 使用 RabbitMQ---------------之一
RabbitMQ 是一种消息代理。消息代理的主要目的是接收、存储并转发消息。在复杂的系统设计和微服务架构中，RabbitMQ 经常被用作中间件来处理和转发系统之间的消息，以确保数据的一致性和可靠性。正是因为提供了可靠的消息机制、跟踪机制和灵活的消息路由，常常被用于排队算法、秒杀活动、消息分发、异步处
Spark-Shuffle阶段优化-Bypass机制详解
Spark——Bypass机制详解
如何系列 如何确保Kafka消息可靠性/防止消息丢失
当出现网络的瞬时抖动时，消息发送可能会失败，此时配置了retries > 0的Producer能够自动重试消息发送，避免消息丢失。如果一个Broker落后原先的Leader太多，那么它一旦成为新的Leader，必然会造成消息的丢失。其实这里想表述的是，最好将消息多保存几份，毕竟目前防止消息丢失的主要
Linux 搭建 Kafka 环境 - 详细教程
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
初识Spark
Apache的顶级项目，用于大规模数据处理的统一分析引擎。支持语言：Java、Scala、Python和R (源码为Scala)高级工具：1、SparkSQL用于SQL和结构化数据处理2、提供Pandas API 可提供在 Apache Spark 上运行的、与 Pandas 等效的 API，从而填
Kafka消费者组
Kafka消费者组
查询Kafka生产者是否连接到Kafka服务
java领域优质创作者🌐。
使用ZooKeeper实现分布式锁
ZooKeeper是一个高性能的分布式协调服务，提供了诸如配置管理、命名服务、分布式锁等功能。ZooKeeper通过维护一个具有层次结构的数据结构（类似于文件系统），来管理分布式应用程序的状态。本文介绍了使用ZooKeeper实现分布式锁的基本原理和步骤，并给出了相应的Java代码示例。在实际应用中
部署Spark&PySpark简易教程
本教程是Spark和PySpark简易安装教程。需要已安装Hadoop。注意Spark版本要与Hadoop版本兼容。本文使用Spark3和Haoodp3。操作系统为CentOS7，jdk为1.8。
Hadoop 2.0 大家族（二）
本文讲解Hadoop2.0大家族，介绍Hbase和Pig。
14-Kafka-Day03
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前， 考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区 到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的
Kafka-Produce客户端源码流程
KafkaProducer中会起一个Sender线程，Sender线程中主要有两个方法：sendProducerData()和client.poll()。sendProducerData()负责准备数据并将数据set到通道中等待发送，client.poll()负责真正执行网络的io操作，在每次pol
Spark期末汇总
从第二章到第五章的各种方法总结
【消息队列】RabbitMQ五种消息模式
Spring AMQP是基于AMQP协议定义的一套API规范，提供了模板来发送和接收消息，包含两部分，其中Spring-amqp是基础抽象，spring-rabbit是底层的默认实现。这是为了防止消息队列中的队列不存在，在进行消息队列初始化的时候不知道是先建立消费者，还是先建立生产者，所以都执行创建
如何在hadoop2的环境中使用纠删码(hadoop Erasure Coding)
在Proxy FileSystem中，根据path中namenode判定是hdfs2还是hdfs3，如果是hdfs3，则通过classloader，加载hdfs3的jar，而hdfs3的jar包，事先我们已经采用assembly的方式，将hdfs3所依赖的所有包然后外加HDFS3ProxyFileS
Hadoop 面试题（七）
1. 简述以下选项中不参与hdfs写流程的组件是 ？2. 简述下列哪一个组件不是Hadoop系统的组件之一（） ？3. 简述有关Hadoop的高可用下列描述错误的是（） ？4. 简述关于安全模式命令，正确的是（） ？5. 简述下列关于Hadoop架构组件描述错误的是() ？6. 简述请问以下哪个命令
好文！12个策略解决 Kafka 数据丢失问题
：生产者可以使用 Kafka 的确认机制来确保消息成功发送到 Kafka 集群。生产者可以选择等待 Kafka 的确认响应（acks）或使用同步发送方式，以确保消息不会丢失。：通过增加 Kafka 主题的副本因子，可以提高消息的可靠性。副本因子决定了每个分区的副本数量，增加副本数量可以提高消息的冗余
【分布式系统】注册中心Zookeeper
你若将过去抱得太紧，怎么能腾出手来拥抱现在？
RabbitMQ的工作模式
Pub / Sub模式（分列模式）：一个提供者（Produce），一个交换机 （Exchange），多个队列 ，多个消费者（Consumer），消费者监听队列。4.事务处理模式：指的是在一个事务中，要么消息全部发送成功，要么不发送消息，这个模式要确保确认模式和回退模式是关闭的，不能同时开启事务模式
【2024】Kafka Streams详细介绍与具体使用（1）
Kafka Streams是构建在Apache Kafka之上的客户端库，用于构建高效、实时的流处理应用。它允许你以高吞吐量和低延迟的方式处理记录流，并且可以容易地扩展和复制数据处理流程。这种流处理方式适用于从简单的数据转换到复杂的事件驱动的应用程序。
