Hadoop的安装和使用-2024年08月01日
1.创建Hadoop用户2.SSH登陆权限设置3.java的安装4.Hadoop单机安装配置5.Hadoop伪分布式安装配置
Kafka详解
发布者和订阅者之间有时间上的依赖性：针对某个主题的订阅者，它必须创建一个订阅之后，才能消费发布者的消息，而且为了消费消息，订阅者必须保持运行的状态。半数以上完成同步才可以发ACK，如果挂了n台有副本的服务器，那么就需要有另外n台正常发送（这样正常发送的刚好是总数（挂的和没挂的）的一半（n（挂的）+n
【消息队列】kafka如何保证消息不丢失？
👏大家好！我是和风coding，希望我的文章能给你带来帮助！🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦📝点击还可以看到和风的其他内容噢，更多内容等你来探索！
RabbitMQ
一、分布式消息队列中间件连接多个系统，帮助多个系统紧密协作的技术（或者组件）。比如：Redis、消息队列、分布式存储Etcd谈到中间人，我们必须引入一个概念，那就是中间件。什么是中间件？可以将其视为在开发系统或多个应用时，用于连接多个系统或使多个系统紧密协作的工具。常用的中间件包括Redis，消息队
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
上节研究了SparkSQL中的SparkSession、SparkSQL中的RDD、DataFrame、DataSet，同时研究了三者之间是如何进行互相转换的。本节继续研究SparkSQL，研究当中的Action和Transformation操作，附带详细的解释与测试案例截图。 备注：Dataset
Kafka 实现延迟队列的方法
虽然 Kafka 本身并不直接支持延迟队列，但通过结合 Kafka 的内置功能、外部定时器、时间轮算法或第三方插件，可以实现各种精度和性能需求的延迟队列。选择合适的方法取决于具体的业务需求和系统复杂度。
RabbitMQ生产者和消费者可靠性机制、延迟队列（含下订单实战）
可以被称为死信交换机。当消息在一个队列中变成死信后，它被重新发送到另一个交换机中，这个交换机就是DLX，绑定DLX的队列就被称之为。： 是否批处理，一般为 false，当该参数为 true 时，则可以一次性确认deliveryTag小于等于传入值的所有消息。： 是否批处理，一般为 false，当该参
基于Hadoop去哪儿旅游景点数据采集与分析
通过网页数据分析，发现去哪儿网的页面结构规范，提供了丰富的信息，这使得自动化数据采集成为可能。在景点列表页面中，每个景点的信息均被整齐地组织在一定的HTML结构中，而景区详情页面则提供了深入的单个景点信息，包括用户的具体评价和评分。例如，评论总数可能通过某个特定的类名聚合在一起，而详细的用户评论则分
【架构】分布式与微服务架构解析
分布式架构与微服务
ZooKeeper的8大应用场景解析
本文将简要介绍ZooKeeper的主要应用场景，包括数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁以及分布式队列。
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
上节研究了RDD的容错机制、分区机制、分区器、自定义分区器等内容。本节研究RDD的广播变量、RDD的累加器，用来对Spark程序进行优化的。有时候需要在多个任务之间共享变量，或者在任务（Task）和 Driver Program 之间共享变量。为了满足这个需求，Spark提供了两种类型的变量。广播变
Spark核心知识要点（八）Shuffle配置调优
Spark核心知识要点（八）Shuffle配置调优
kafka监控工具EFAK
kafka监控工具EFAK
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
上节我们看了Kafka的核心架构概念，Producer、Consumer、Topic等等，本节我们下载安装配置部署Kafka服务器，并启动Kafka，前置依赖需要Java和ZooKeeper。Kafka在3版本以下都是需要ZooKeeper来做协调器的，在3版本以上，Kafka实现了自己的协议去做高
消息中间件：Kafka消息丢失与堆积问题分析与解决方案
Kafka作为分布式消息系统，广泛应用于实时数据流处理、大数据分析等领域。然而，在实际应用中，Kafka可能会面临消息丢失和消息堆积的问题，这些问题如果得不到有效处理，会严重影响系统的稳定性。本文将详细分析Kafka消息丢失与堆积的常见原因，并提供相应的解决方案。
如何保证Kafka顺序消费
确保 Kafka 顺序消费需要结合生产者配置、消费者配置和应用设计来实现。对于单分区内的顺序保证相对简单，通过分区键或自定义分区器即可实现。对于全局顺序性，需要在设计上进行更多考虑，如使用单分区、应用层排序或 Kafka Streams 等方法。此外，确保消费逻辑的幂等性也是顺序消费的一部分。根据具
Spark-SparkContext类解析
SparkDriver 的初始化始终围绕着 SparkContext 的初始化。SparkContext 可以算得上是 Spark 应用程序的发动机引擎，SparkContext 初始化完毕，才能向 Spark 集群提交应用程序，而 SparkContext 的配置参数则由 SparkConf 负责
深入理解Kafka核心设计与实践原理_03
消费者并非逻辑上的概念，它是实际的应用实例，它可以是一个线程，也可以是一个进程。Kafka 同时支持两种消息投递模式，而这正是得益于消费者与消费组模型的契合：· 如果所有的消费者都隶属于同一个消费组，那么所有的消息都会被均衡地投递给每一个消费者，即每条消息只会被一个消费者处理，这就相当于点对点模式的
这一次，彻底弄懂ZooKeeper协议
ZooKeeper是动物园的意思，在2012年官方来给ZooKeeper写了这么一段有趣的“ZooKeeper之道”，难怪ZooKeeper现在发展得这么好。动物园管理员对他们负责的动物和参观动物的游客都尽心尽力。他们遵循一套守则，至今只有同行才知道，这套守则可以保证动物和游客的安全。大家好，我是南
RabbitMQ：一文了解什么是RabbitMQ
RabbitMQ是一个由Erlang语言编写的消息中间件，它遵循AMQP协议，提供了稳定可靠的消息传输服务。RabbitMQ通过其独特的架构和丰富的功能，帮助开发者解决分布式系统中的消息传递问题，提高系统的可扩展性、可靠性和响应速度。
