kafka中消息key作用与分区规则关系
在 kafka 2.0.0 的 java sdk 中ProducerRecord 中类注释如下说明了 key 与分区编号的关系。
Kafka消息发送失败的常见原因及解决方案
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式
Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
基于hadoop3.x完全分布式环境下部署zookeeper和Hbase注意事项：在启动Hbase之前要在所有集群节点上启动zookeeper 否则Hbase会报错（日志），无法使用。
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作
kafka详解
消息中间件处理节点，一个 Kafka 节点就是一个 Broker，一个或者多个 Broker 可以组成一个 Kafka 集群。
rabbitMq 针对于当前监听的队列，来控制消费者并发数量，不影响其他队列，代码示例
通过这种方式，你可以定义多个SimpleRabbitListenerContainerFactory bean，并分别配置每个工厂需要的属性。因此，在上述示例中，设置了 concurrentConsumers 为 5，maxConcurrentConsumers 为 10，意味着 RabbitMQ
Spark作业串行与并行提交job
在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用for和构造对应的例子。
ZooKeeper完美安装指南：在CentOS中从单节点到集群部署全攻略
本文是一个关于在CentOS 7.6环境下安装和配置ZooKeeper 3.8.1的实践指南。其中涵盖了从环境准备，到单节点安装，再到集群配置的全过程，以及使用GUI工具和测试集群的建议。读者可以通过这篇文章系统地了解ZooKeeper的安装和配置过程，为在分布式环境下更好地使用ZooKeeper提
【Spark基础】-- RDD、DataFrame 和 Dataset 的对比
DataFrame 支持从最流行的格式中读取数据，包括 JSON 文件、Parquet 文件、Hive 表。它可以从本地文件系统、分布式文件系统（HDFS）、云存储（S3）和通过JDBC连接的外部关系数据库系统中读取数据。此外，通过 Spark SQL 的外部数据源 API，DataFrame 可以
从兔子说起：了解RabbitMQ消息的多样化【RabbitMQ 二】
在这篇博客中，我们将深入研究RabbitMQ的消息的相关问题
Redis - 分布式锁、Redisson
分布式锁Redisson 可重入锁 - 单机Redis下分布式锁Redisson - 红锁 - 集群Redis下分布式锁分段锁Redisson 详解
了解Zookeeper的系统架构吗？
• 当leader被选举出来，且大多数服务器完成了 和leader的状态同步后，leadder election 的过程就结束了，就将会进入到Atomic brodcast的过程。总的来说，Zookeeper的系统架构通过分布式数据一致性算法、集群管理机制和配置管理机制，实现了对分布式系统的协调和管
【kafka性能测试脚本详解、性能测试、性能分析与性能调优】
官方在kafka高版本发行时，修改了这个默认值，暂时理解为官网的推荐设置，但对于实时性较高的业务，比如实时统计用户访问量的分析，一般会启用这个配置，即设置为true，但对于可靠性较高的业务，比如银行的业务，宁可花费几分钟或几个小时的延时后再处理像信用卡支付的业务，也不会冒险处理错误的消息。因此，按真
RabbitMQ 管理页面使用指南
除了上述介绍的功能，RabbitMQ 管理页面还提供了其他的管理操作，如创建交换机、创建队列、绑定交换机与队列等。点击导航栏中的 “Channels” 选项卡，您将看到一个列表，其中包含了当前在 RabbitMQ 服务器上打开的所有通道。点击导航栏中的 “Exchanges” 选项卡，您将看到一个列
大数据：Hadoop刷题
大数据：Hadoop刷题
Spark Streaming 编程权威使用指南
本文档为Spark的旧版本Streaming引擎。Spark Streaming 不再更新，是一个遗留项目。在Spark中有一种新的、更易用的流处理引擎，称为结构化流式处理。您应该使用Spark结构化流处理来开发流式应用和流水线。请参阅结构化流式处理编程指南。*
kafka个人笔记
大部分内容源于, 本人手敲一边加强印象方便复习。
基于zookeeper实现分布式锁
如果创建的是永久的节点，那么这个锁永远不会释放，导致死锁；例如子节点列表 为/lock/lock-0000000000、/lock/lock-0000000001、/lock/lock-0000000002，序号为1的客户端监听 序号为0的子节点删除消息，序号为2的监听序号为1的子节点删除消息。客户
Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整
本文描述的是在Hadoop3.1.3的完全分布式环境下，slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法，希望能帮助到遇到这个问题的朋友。
基于Hadoop的智慧社区大数仓库系统设计与开发
此外，国外学者还注重从智慧社区大数据中发现潜在的价值和应用场景，如社区健康管理、资源调度等，为智慧社区的智能化发展提供了有力支持。然而，如何高效地管理和分析智慧社区中海量的数据成为一个重要的挑战，因此本文总结了Hadoop技术的优势和特点，并基于此设计和开发了智慧社区的大数据仓库系统。综上所述，本文
