RabbitMQ消费者消费消息失败处理
在我们开发分布式系统的过程中，RabbitMQ这样的消息队列无疑是实现微服务间通信的利器。然而，消息处理失败在所难免。当我们面临消费消息失败的情况时，该如何应对呢？在这篇博客中，我将带你深入探讨RabbitMQ消费者的消息失败处理策略。
kafka生产者性能相关的参数理解
一个消息发送后在得到服务端响应之前，生产者还可以发送的消息条数，配合retries使用，可以保证消息的顺序性，假设有两条消息A、B，A先发送但失败了在执行重试时，B发送且成功了，之后A也重试成功了，此时A、B消息顺序就反了，如果将此参数设置为1，则可以保证A在重试时，B消息无法进行发送，必须等A收到
Kafka 详解：全面解析分布式流处理平台
Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流式应用。它具有高吞吐量、低延迟、高可用性和高可靠性的特点，广泛应用于日志收集、数据流处理、消息系统、实时分析等场景。
分布式相关理论详解
分布式系统就是将整个系统根据业务拆分多个微服务，服务之间通过Rpc进行通信。集群是将多个相同应用部署到不同的集群模式上，本质上是为了提高吞吐量已经保证高可用性。CAP理论是分布式系统的理论基础,即一个分布式系统最多满足CAP这三项中的两项。即只能满足一致性(Consistance)、可用性（Avia
RabbitMQ 入门
MQ( Message queue )，从字面意思上看，本质是个队列，FIFO 先进先出，只不过队列中存放的内容是消息(message)，消息可以非常简单，比如只包含文本字符串，JSON 等，也可以很复杂，比如内嵌对象，MQ 多用于分布式系统之间进行通信；：在业务流程中，一些操作可能非常耗时，但并不
Zookeeper的监听机制及原理解析
ZK在现在之所以能非常好用，它便捷的监听功能是很重要的，本次我们就以监听为题，分析一下ZK的监听是怎么设计和管理的，并在文末写了个demo验证我们的所学
RabbitMQ确认机制
RabbitMQ——确认机制
Kafka-生产者（producer）发送信息流程详解
Kafka生产者发送信息流程
摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署
export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spar
Hadoop HA高可用搭建2024（V3.3.6）
启动停止命令启动服务cd /data/soft/hadoop/sbinhadoop-daemon.sh start journalnode./start-all.shmapred --daemon start historyserveryarn --daemon start timelineserv
Zookeeper + Kafka 消息队列群集部署
ZooKeeper 是一个开源的分布式协调服务，为分布式应用提供一致性服务。领导者-跟随者模式：集群中有一个领导者（Leader）和多个跟随者（Follower）。全局数据一致：每个 Server 保存一份相同的数据副本，客户端连接到任何 Server 都能获得一致的数据。更新请求顺序执行：来自同一
Kafka和Spark Streaming的组合使用学习笔记（Spark 3.5.1）
二、启动Kafaka1.首先需要启动Kafka，打开一个终端，输入下面命令启动Zookeeper服务：注意：以上现象是Zookeeper服务器已经启动，正在处于服务状态。不要关闭！注意：同样不要误以为死机了，而是Kafka服务器已经启动，正在处于服务状态。2.然后，可以执行如下命令，查看名称为“wo
ZooKeeper概述
在分布式系统中，你可能有成千上万个服务节点，如果想要对所有服务的某项配置进行更改，由于数据节点过多，你不可逐台进行修改，而应该在设计时采用统一的配置中心。如果分布式系统的某个服务节点宕机了，则其持有的会话会超时，此时该临时节点会被删除，相应的监听事件就会被触发。集群，集群中每台机器都会单独在内存中维
hadoop3.3.6集群搭建
hadoop3.3.6搭建1主两从集群
MAC-安装zookeeper
mac搭建zookeeper，并解决permission denied: ./ zookeeper_server.pid: No such file or directoryFAILED TO WRITE PID8080端口占用等问题
Kafka的高性能如何实现
从操作系统的角度而言，磁盘读取数据是按块读取的，将数据加载到内存的page cache，磁盘与内存之间的交互是以页为单位的，也就是缓存页page cache（4K），page cache是由操作系统内核来维护的。首次读取数据时将数据放到page cache，再次读取的时候直接从page cache直
Spark实时（三）：Structured Streaming入门案例
我们使用Structured Streaming来监控socket数据统计WordCount。
Hadoop面试题
Hadoop高频面试题。
阶段三：项目开发---大数据开发运行环境搭建:任务5：安装配置Kafka
安装配置Kafka： 安装配置Kafka：无Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一
浅议Kafka中消息大小的设置
如果消息体过大，则一般调整max.request.size和max.message.bytes即可，batch.size则保持默认即可
