Kafka知识体系
消息系统：kafka不仅具备传统的系统解耦、流量削峰、缓冲、异步通信、可扩展性、可恢复性等功能，还有其他消息系统难以实现的消息顺序消费及消息回溯功能。存储系统：kafka把消息持久化到磁盘上，以及多副本机制，极大的降低的数据丢失风险，可以把kafka当做长期的数据存储系统使用。流式处理平台：kafk
zookeeper 都有哪些使用场景？思考15
那么此时就可以使用 zookeeper 分布式锁，一个机器接收到了请求之后先获取 zookeeper 上的一把分布式锁，就是可以去创建一个 znode，接着执行操作；这个其实是 zookeeper 很经典的一个用法，简单来说，就好比，你 A 系统发送个请求到 mq，然后 B 系统消息消费之后处理了。
rabbitmq高级特性（1）：消息确认，持久性，发送方确认和重试机制
这里的消息确认机制，指的是消费者对消息的确认，而不是生产者。（1）背景缘由当消费者把消息发送出去后，就会把消息删除。如果消费者这边处理消息成功，则相安无事；但是如果处理异常，消息也就会丢失。所以就需要设置消费者的消息确认模式（2）消息确认的机制消息确认机制分为两个大类：自动确认和手动确认手动确认又分
Dubbo，zookeeper，netty
一个jar包，一个分布式框架，一个远程服务调用的分布式框架。
[7] kafka基础知识
有些定时消费的任务在执行完某次消费任务之后保存了消费位移，之后隔了一段时间再次执行消费任务，如果这个间隔时间超过offsets.retention.minutes的配置值，那么原先的位移信息就会丢失，最后只能根据客户端参数 auto.offset.reset 来决定开始消费的位置，遇到这种情况时就需
Spark SQL大数据分析快速上手-伪分布模式安装
前置环境安装参看此博文伪分布模式也是在一台主机上运行，我们直接使用2.2节配置好的CentOS7-201虚拟机。伪分布模式需要启动Spark的两个进程，分别是Master和Worker。启动后，可以通过8080端口查看Spark的运行状态。伪分布模式安装需要修改一个配置文件SPARK_HOME/co
kafka mirror maker之实现两个kafka集群之间的数据同步
Kafka MirrorMaker 是 Apache Kafka 提供的一个用于在不同 Kafka 集群之间复制数据的工具。它的主要用途是在多个数据中心、地理位置或集群之间实现数据同步和冗余，以提升数据的高可用性和容灾能力。以下是关于 Kafka MirrorMaker 的详细介绍。Kafka Mi
kafka消费者组分区分配实战
问题引入：一个consumer group中有多个consumer组成，一个 topic有多个partition组成，现在的问题是，到底由哪个consumer来消费哪个partition的数据Kafka有四种主流的分区分配策略： Range、RoundRobin、Sticky、Cooperative
【RabbitMQ之一：windows环境下安装RabbitMQ】
链接：https://pan.baidu.com/s/1nNYLXid259e-iuCIU3B9UA。win+R键，输入cmd，再输入erl，看到erlang版本号就说明erlang安装成功了。双击系统变量path，点击“新建”，将%ERLANG_HOME%\bin加入到path中。官网下载地址：h
【RabbitMQ 项目】客户端：连接模块
客户端：连接模块
如何保证RabbitMQ消息的顺序性
在使用 RabbitMQ 时，消息的顺序性对某些业务逻辑至关重要。通过本文介绍的策略和示例，您可以在 Java 应用程序中实现消息的顺序性控制。根据具体场景，您可以选择单一队列单一消费者的简单方式，或者通过路由键、消息分区和消息ID重排序等方法来处理复杂的顺序性要求。
如何保证RabbitMQ的可靠性传输
默认情况下，消费端取回消息后，默认会自动返回ACK确认消息，所以在前面的测试中消息被消费端消费之后，RabbitMQ得到ACK确认信息就会删除消息。但实际开发中，消费端根据消息队列投递的消息执行对应的业务，未必都能执行成功，如果希望能够多次重试，那么默认设定就不满足要求了。消费者异常，消息还没到消费
kafka是如何做到高效读写
消息持久化： Kafka 将消息存储在磁盘上，并且通过顺序写入的方式提高写入性能。 消息被追加到日志文件的尾部，避免了随机写操作，从而提高了写入速度。 零拷贝技术：利用操作系统的零拷贝特性，数据可以从磁盘直接传输到网络接口，减少了数据在内存中的复制次数，提高了传输效率。 批量发送：生产者可以将多个消
Zookeeper启动报错：Starting zookeeper ... FAILED TO START 解决方案
如果 Zookeeper 的 clientPort（通常是 2181）或其他通信端口被其他进程占用，Zookeeper 将无法正常启动。**解决方案：**确保 Java 已正确安装并配置环境变量 JAVA_HOME 和 PATH。如果端口被其他进程占用，可以在 zoo.cfg 中更改 clientP
Spark Optimization —— Reducing Shuffle
randomness。
WSL中搭建SPARK平台(中）
本部分教程将指导您在Docker容器中构建一个Spark集群，包括配置主节点和工作节点。
多源异构数据对接：挑战与解决方案
FineDataLink，它小到数据库对接、API对接、行列转换、参数设置，大到任务调度、运维监控、实时数据同步、数据服务API分享，应有尽有，功能很强大。通过采用数据标准化、数据集成平台、API接口等技术和策略，企业可以有效地整合来自不同来源的数据，解决数据格式不一致、结构差异、数据质量问题等挑战
kafka 架构详解
Kafka 的架构设计使其能够处理大规模的数据流，并提供高吞吐量、低延迟的消息传递。通过合理的配置和优化，Kafka 可以满足各种实时数据处理需求。了解 Kafka 的架构和工作机制对于开发和运维人员来说非常重要，可以帮助他们更好地利用 Kafka 的特性来构建高效、可靠的数据处理系统。
spark统一内存模型 详解
Spark 的统一内存模型通过动态调整执行内存和存储内存的划分，极大地提高了内存资源的利用率。通过引入堆外内存支持、灵活的内存共享机制以及动态扩展策略，Spark 能够在不同类型的任务（如批处理、流处理、机器学习）之间高效地分配和管理内存资源。我们从底层原理和源代码的角度详细解析了 Spark 内存
如何使用RabbitMq来实现死信队列
RabbitMq不自带死信队列，那么我们创建好交换机，延迟队列设置过期时间为15秒，对延迟队列和交换机以及死信队列（普通队列）和交换机进行绑定 ，同时设置交换机为Topic主题交换机。随后消费者通过RabbitMqListener进行监听，同时使用ACK进行标志的确认。消息成为死信后，会被重新发送到
