头歌：Spark任务提交
这段脚本首先将 project.jar 复制到 /root 目录下，然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间，使用 spark-submit 命令提交 Spark 程序，其中 --master local 指定了本地模式，--class Studen
Kafka~基础原理与架构了解
Kafka我们了解一直认为是一个消息队列，但是其设计初，是一个：分布式流式处理平台。
kafka部分partition的leader=-1修复方案整理
部分环境发现，支撑kafka部分topic的被设置成单副本。当出现单机故障时，部分topic-partition出现leader=-1，对应的partition无法正常读写数据。特别是kafka内置的topic __consumer_offsets，__consumer_offsets 是记录top
【rabbitmq】rabbitmq与erlang的版本对应关系
rabbitmq与erlang的版本对应关系https://www.rabbitmq.com/docs/which-erlang
spark独立集群搭建
spark独立集群搭建
Kafka 新的消费组默认的偏移量设置和消费行为
Kafka 新的消费组默认的偏移量设置和消费行为
hadoop三大核心组件及其功能
Hadoop的三大核心组件是HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource Negotiator）。以上三大组件共同构成了Hadoop的核心功能，它们分别负责数据的存储、计算和资源管理，为大数据处理提供
Kafka 负载均衡挑战及解决思路
本文转载自 Agoda Enginnering, 介绍了 Kafka 负载均衡的实际应用过程中的负载均衡挑战及解决思路。
18道kafka高频面试题（附答案）
这份文档从构建一个键值数据库的关键架构入手，不仅带你建立起全局观，还帮你迅速抓住核心主线。除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。你的支持，我的动力；祝各位前程似锦，offer不
Springboot整合Zookeeper分布式组件实例
Zookeeper是一个开源的分布式协调服务，主要用于分布式应用程序中的协调管理。它由Apache软件基金会维护，是Hadoop生态系统中的重要成员。Zookeeper提供了一个高效且可靠的分布式锁服务，以及群集管理功能，在分布式系统中起到了“守护神”的作用。
Kafka 实战 - Kafka Consumer 重置 Offset
在Kafka实战中，消费者（Consumer）有时需要重置其消费的偏移量（Offset），以重新处理特定范围或特定位置的消息。通过上述实战方法，您可以根据实际需求选择合适的方式重置Kafka Consumer的偏移量。：对于支持Exactly-Once语义的应用，重置偏移量可能需要配合其他补偿措施以
Kafka第一篇——内部组件概念架构启动服务器zookeeper选举以及底层原理
引入 ——为什么分布式系统需要用第三方软件？JMS对比组件架构推演——备份实现安全可靠 ，Zookeepercontroller的选举controller和broker底层通信原理BROKER内部组件编辑topic创建
kafka生产者消费者举例
Kafka是一款分布式流处理平台，它被设计用于高吞吐量、持久性、分布式的数据流处理。Kafka 简介Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统。Kafka 具有高吞吐量、低延迟、可扩展性、持久性、可靠性、容错性、高并发等特性。Kafka 应用场景日志收集：公司可以使用 Kafka 收集
大数据——Zookeeper安装、启动、操作命令（一）
在大数据中，几乎所有的框架，它的安装都提供了三种模式单机模式：在一台服务器上安装，往往能够启动这个框架的部分服务伪分布式：在一台服务器上安装，但是利用多个线程模式分布式环境，能够启动这个框架的大部分甚至于服务分布式：在集群上安装，能够启动这个框架的所有服务现阶段，先安装单机模式，搞定所有的概念之后，
从了解到掌握 Spark 计算框架（一）Spark 简介与基础概念
Spark 是一个基于内存的分布式计算框架，最初由加州大学伯克利分校的 AMPLab 开发，后来捐赠给了 Apache 软件基金会。它提供了一个高效、通用、可扩展且易用的大数据处理平台，支持各种类型的应用，包括批处理、实时流处理、机器学习和图处理等。
【Kafka】 幂等和事务详解
Kafka幂等和事务详解
Kafka 实战 - 指定分区和偏移量，时间消费
总结来说，通过上述方法，Kafka 消费者可以在实战中灵活指定分区、偏移量或基于时间戳进行消息消费，以满足各种复杂的应用场景需求。在实际操作时，需要根据业务特点、数据一致性要求以及 Kafka 集群配置进行合理选择和调整。在 Apache Kafka 中，消费者可以通过指定分区和偏移量来精确控制消息
RabbitMQ不完整的笔记
Direct交换机与Fanout交换机的差异？
RabbitMQ篇——RabbitMQ死信队列详细介绍，超详细、超全面的技术点剖析！
RabbitMQ是一个流行的开源消息队列中间件，它支持多种消息协议，包括AMQP和MQTT等。RabbitMQ的死信队列（Dead Letter Queue）是一种特殊的队列，用于处理无法被消费者正确处理的消息。使用背景： 在实际的应用中，可能会遇到一些消息无法被消费者正确处理的情况，比如消息格式错
