Zookeeper详解
提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache项目。（1）一般要求一个集群中，所有节点的配置信息是一致的，比如。(2）对配置文件修改后，希望能够快速同步到各个节点上。，整
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。遇到不熟悉的sh文件，直接输入名字并回车，就会提示你可用的命令参数。安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。在其中的一台机器上起一个
@KafkaListener注解详解（一）| 常用参数详解
KafkaListener 注解提供了许多可配置的参数，以便更灵活地定制 Kafka 消息监听器的行为。
解决安装 RabbitMQ 安装不成功的问题
由于RabbitMQ是基于erlang的，所以，在正式安装RabbitMQ之前，需要先安装一下erlang。
三十分钟学会zookeeper
一些分布式系统通过复制数据来提高系统的可靠性和容错性，并且将数据的不同的副本存放在不同的机器在数据有多份副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。
PostgreSQL基于Citus实现的分布式集群
因客户的需求，本文详细阐述了PostgreSQL基于Citus实现的分布式集群的全过程。
2023_Spark_实验十六：编写LoggerLevel方法及getLocalSparkSession方法
掌握基于IDEA开发Spark项目的配置，依赖管理，编写LoggerLevel方法及getLocalSparkSession方法
Kafka Tool（Kafka 可视化工具）安装及使用教程
不同版本的Kafka对应不同版本的工具，个人使用的是2.11，所以下载的是最新的2.0.8版本（Kafka0.11之后版本就需要用Kafka Tool 2）选中某一个message，点击“Message”查看详情，默认是“Text”格式（如果想看到JSON格式，只需要设置下“View Data As
Greenplum 对比 Hadoop
基于上述不同，体现在效率、功能等特性方面也大不相同。
3.RabbitMQ UI管理界面使用（用户、虚拟主机）
当安装了RabbitMQ之后相当于安装了Mysql数据库，那么在使用mysql的时候需要创建用户，这里的用户跟Mysql的用户可以同等理解用户角色：Admin（管理员）、Monitoring （监控者）、Policymaker（决策者）、Management（管理者）、Impersonator（模拟
Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流
一篇文章带你学会Hadoop-3.3.4集群部署
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。在进行自学的时候，我们都需要自己搭建一个稳定的hadoop集群，但是hadoop的集群部署还是比较麻烦的，今天我就带你通过我的一篇文章，学会
用好kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。本文分享了平时我在工作使用kafka以及zookeeper常用的一些工具，同时分享了kafka集群的部署，值得一提的是kafka部署配置zookeeper地址的时
为Kafka动态设置用户名密码访问权限
推荐下载kafka的kafka_2.13-3.5.0版本，本配置方法基于kafka_2.13-3.5.0版本，其他版本可能略有调整。kafka安装目录为/opt/kafka。在bin目录下的kafka-server-start.sh文件，将kafka_server_jaas.conf文件目录加入到配
kafka详解一
kafka是一个分布式的、基于发布订阅模式的消息队列，主要应用于大数据实时处理领域。PROCESSSTOREkafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中/***/1、指定具体的分区号//1、给定具体的分区号，数据就会写入到指定的分区中2、不给定具
Kafka生产者与消费者api示例
consumer的消费位移提交方式：全自动定时提交到consumer_offsets半自动然后手动触发提交 consumer.commitSync()；提交到consumer_offsets全手动写自己的代码去把消费位移保存到你自己的地方mysql/zk/redis/提交到自己所涉及的存储；初始化时
Dubbo(超级无敌认真好用，万字收藏篇!!!!)
内容包括 [前言，Dubbo概述，Dubbo入门，Dubbo高级特性]> 在西安加中实训学习期间作的笔记用于后边记忆和留存
Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群
1 Zookeeper1.1 Zookeeper 定义1.2 Zookeeper 工作机制1.3 Zookeeper 特点1.4 Zookeeper 数据结构1.5 Zookeeper 应用场景1.6 Zookeeper 选举机制2 部署 Zookeeper 集群2.1 安装前准备2.2 安装 Zo
【Spark】What is the difference between Input and Shuffle Read
保持每个task的 input + shuffle read 量在300-500M左右比较合适。Spark调参过程中。
分布式理论基础：BASE理论
BASE 理论本质上是对 CAP 的延伸和补充，更具体地说，是对 CAP 中 AP 方案的一个补充。CAP 理论是忽略延时的，而实际应用中延时是无法避免的。这一点就意味着完美的 CP 场景是不存在的，即使是几毫秒的数据复制延迟，在这几毫秒时间间隔内，系统是不符合 CP 要求的。因此 CAP 中的 C
