zookeeper介绍与配置
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键
RabbitMq消息中间件如何理解削峰，根据业务场景进行阐述？
这样可以实现异步处理，提高系统的响应速度。消费者可以设置每次处理的消息数量和处理速度，从而避免在高峰期因过多的并发请求而导致系统崩溃。当系统的处理能力无法满足高峰期的请求时，消息队列可以暂时存储这些消息，等待消费者有空闲资源时再进行处理。在高并发的业务场景中，RabbitMQ 可以帮助实现削峰，即在
【大数据】Kafka 入门简介
Partition 中的消息序列是有序的消息序列。Kafka 在 Partition 使用偏移量（Offset）来指定消息的位置。一个 Topic 的一个 Partition 只能被一个 Consumer Group 中的一个 Consumer 消费，同组的多个 Consumer 消费同一个 Par
spring调度注解@Scheduled（含分布式）
本文主要介绍spring调度注解@Scheduled，以及分布式场景的改造思路。
RabbitMQ延时队列的实现原理和应用实例
rabbitmq延时队列详解
Kafka消费者异常问题解析与解决方案
对于每个问题，提供了相应的解决方案，并给出了一个示例代码，展示了如何创建一个Kafka消费者并处理消息。2.1 消费者组问题：Kafka消费者可以组成一个消费者组，如果多个消费者属于同一个消费者组，它们将共同消费一个主题的消息。如果一个消费者组中的消费者数量超过了主题的分区数量，将会有一些消费者无法
Spark实战
Spark基于内存计算，整合了内存计算单元，提高了大数据处理的实时性。它兼具高容错性和可伸缩性，因此相对于Hadoop的集群处理方法，Spark在性能方面更具优势。从另一角度看，Spark可被看作MapReduce的一种扩展。在计算的各个阶段，MapReduce无法进行有效的资源共享，因此不擅长迭代
Zookeeper六大应用场景详解
在通常的Java开发编程中，有两种常⻅的⽅式可以用来定义锁，分别是synchronized机制和JDK5提供的 ReentrantLock。和排他锁⼀样，同样是通过 ZooKeeper 上的数据节点来表示⼀个锁，是⼀个类似于 “/shared_lock/[Hostname]-请求类型-序号”的临时顺
hadoop配置
在各种配置文件中，我们都是以root用户进行操作的，普通用户hadoop并没有操作权限，现在我们需要对普通用户hadoop进行授权。配置hadoop-env.sh，这个文件作用主要是Hadoop运行的环境变量。在确保所用node都给Hadoop用户进行授权之后，格式化整个文件系统。在node2、no
2023_Spark_实验十四：SparkSQL入门操作
Spark SQL 基础操作，读取文件，注册临时表，Spark SQL基础语法，查看执行计划
使用Docker部署开源分布式任务调度系统DolphinScheduler
本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问，结合内网穿透工具实现公网访问DolphinScheduler内网并进行远程办公，帮助开发人员进行远程任务调度及管理，提高工作效率。DolphinScheduler是一款开源的分布式任务调度系统，它可以帮助开发人员
【技术驿站】分布式基础与常见面试问题
接口幂等性是指无论调用接口的次数是一次还是多次，对系统的影响都是相同的。换句话说，无论接口被调用多少次，最终的结果应该是一致的。这个概念通常在分布式系统、Web 服务、API 设计等领域中讨论，旨在确保系统的稳定性、一致性和可靠性。幂等性的一个常见用例是在进行写操作时，如创建、更新或删除数据。在这些
rabbitMq创建交换机，以及路由键绑定队列教程
创建交换机：创建队列：
如何完全卸载RabbitMQ？
5.删除C:\Windows\System32\config\systemprofile\.erlang.exe文件。6.删除C:\Users\[UserName]\.erlang.exe文件([UserName是你的用户名]）。7.删除C:\Users\[UserName]\AppData\Roa
kafka 如何保证消息的顺序消费
在分布式消费者的情况下，要确保每个分区只由一个消费者消费，这可以通过控制分区数和消费者数的关系来实现。如果您有多个消费者，您可以将分区数设置为消费者的数量，或者通过手动分配分区给每个消费者来确保分区和消费者的一一对应关系。这可以通过生产者的分区策略来实现。默认情况下，Kafka会使用基于消息键（ke
Spark-3.2.4 高可用集群安装部署详细图文教程
Spark-3.2.4 高可用集群安装部署详细图文教程
Rabbitmq----分布式场景下的应用
每个RabbitTemplate只能配置一个（消息回调）ReturnCallback: 处理消息是否被正确路由到队列，通常在消息无法被路由时触发。: 处理消息是否成功发送到Broker，无论消息是否被正确路由到队列。它是消息成功投递到Broker的确认机制。可以在发送消息时指定，因为每个业务处理co
Kafka KRaft模式探索
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
Hadoop入门篇01---基础概念和部署教程
Hadoop入门篇01---基础概念和部署教程
kafka知识点拓展
kafka知识点扩展，Broker，Producer，Consumer知识点深入学习。
