Kafka （快速）安装部署
进行下载，Scala 2.12 和 Scala 2.13 主要是使用Scala编译的版本不同，两者皆可。接下来我们还需要在每个 zookeeper 节点的数据目录下创建对应的服务id文件与上面配置的。针对每个节点修改主机名称，查看当前主机的ip地址并固定，添加子网掩码，网关，DNS1。Kafka一般
zookeeper是啥？在kafka中有什么作用
ZooKeeper最初由雅虎研究院开发，用于解决大型分布式系统中的协调问题，特别是为了避免分布式单点故障。它被设计成一个简单易用的接口集，封装了复杂的分布式一致性协议。这使得开发者可以更专注于业务逻辑，而不是底层的协调和同步问题。zooKeeper 是用于维护配置信息，命名，提供分布式同步和提供组服
redis分布式锁和lua脚本
因为jvm的synorchonized只能保证自己的服务，在集群部署的时候有多个服务，锁不住jvm服务。jvm的内置锁只能解决单体式项目中的并发问题，但是在分布式环境下，无法解决多jvm实例的并发。Synchronized锁的是对象，对象必须是单例的。锁的是this,代表当前所在的类，这个类是交给S
【RabbitMQ工作原理相关】
并且使用起来也非常简单,不需要额外的配置,在声明队列的时候只要指定这个是中裁队列即可。当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列。- 在声明队列的时候可以设置属性x-queue-mode为lazy,即为惰性队列。存储消息达到上限,之后发送的消息就会成为死信,
Zookeeper之CAP理论及分布式一致性算法
CAP理论CAP理论告诉我们，一个分布式系统不可能同时满足以下三种这三个基本要求，最多只能同时满足其中的两项，因为P是必须的，因此往往选择就在CP或者AP中。
ApacheKafka中的设计
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量、低延迟和高可扩展的分布式发布订阅消息系统，它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。Kafka 集群由多个 Broker 组成。每个 Brok
关于kafka的分区和消费者之间的关系
当生产者向 Topic 写入消息的速度超过了消费者（consumer）的处理速度，导致大量的消息在 Kafka 中淤积，此时需要对消费者进行横向伸缩，用多个消费者从同一个主题读取消息，对消息进行分流。Kafka 的消费者都属于消费者组（consumer group）。一个组中的 consumer 订
RabbitMq的基本理解
我们往先指定一个正常的交换机和队列，接着再指定一个死信交换机，将这个队列和死信交换机连连接起来，我们往这个队列中发送一条消息，并且给这个消息设置过期时间，但是我们不指定消费者，那我们可想而知，最后这个消息等超过了这个过期时间，就是进入到这个死信交换机中，那不就刚好达成我们延迟消息的目的了嘛。如果不是
使用kafka完成数据的实时同步，同步到es中。(使用kafka实现自动上下架 upper、lower)
公开的同步公开的同步私有的删除。
大数据集群（Hadoop生态）安装部署
1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。Hadoop HDFS 提供分布式海量数据存储能力Hadoop YARN 提供分布式集群资源管理能力Hadoop MapReduce 提供分布式海量数据计算能力。
Kafka【十二】消费者拉取主题分区的分配策略
消费者想要拉取主题分区的数据，首先必须要加入到一个组中。但是一个组中有多个消费者的话，那么每一个消费者该如何消费呢，是不是像图中一样的消费策略呢？如果是的话，那假设消费者组中只有2个消费者或有4个消费者，和分区的数量不匹配，怎么办？当消费者加入群组的时候，会发送一个JoinGroup请求。群主负责给
Spark-Job启动、Stage划分
1、线性解析程序中的代码，遇到Action算子调用SparkContext的runJob()，有几个Action算子就会产生几个Job2、转交给DAGScheduler提交Job3、DAGScheduler先为调用Action算子的RDD创建一个ResultStage。
Zookeeper节点宕机如何处理？
Zookeeper集群凭借其多节点配置，确保了系统的高可用性。当面临节点宕机时，集群内部机制将自动介入，以保持服务的稳定性和连续性。
RabbitMQ 入门：基本概念、特性及简单示例
RabbitMQ 是一个开源的消息代理和队列服务器，用 Erlang 语言编写。它支持多种消息协议，包括 AMQP 0-9-1，并提供了可靠性、灵活的路由、消息持久性等功能。RabbitMQ 是易于使用的，支持多种编程语言，包括 Python、Ruby、Java、JavaScript、PHP、.NE
kafka简单使用
kafka的简单使用案例
RabbitMQ~架构、能力、AMQP、工作模式、高可用、死信队列了、事务机制了解
RabbitMQ是使用Erlang编写的一个开源的消息中间件。它实现了AMQP(高级消息队列协议)，并支持其他消息传递协议：例如STOMP(简单文本定向消息协议)和MQTT(物联网协议)。支持多种客户端如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XM
RabbitMQ 常见问题与故障排查
在使用 RabbitMQ 的过程中，可能会遇到各种问题。以下是对常见问题及其解决方案的详细描述，以及性能问题的排查方法和日志分析技巧。
Kafka简介
消息队列—用于存放消息的队列消息队列大多时候用于临时性存储可以用于系统解耦流量削峰消息队列有发布/订阅模型和点对点模型。
ELK+kafka+filebeat企业内部日志分析系统
ELK（Elasticsearch+Logstash+Kibana）+kafka+filebeat
记录学习Rabbitmq遇见的问题--持续更新
解决的，我也是懒的看，翻到最下面，意思是新建的用户不能使用纯数字，我修改成字母加数字之后连接成功，并成功发送了消息。查了新创建的用户，绑定的虚拟主机，配置都没问题，单启动也能连接，最后根据。
