Filebeat部署+Kafka接收消息
单机版filebeat搭建，Filebeat部署+Kafka接收消息
Zookeeper启动流程浅析
zookeeper服务端启动流程
分布式光伏风电新能源电站并网必备须知：正反向隔离装置组网-也适用于微网储能虚拟电厂
随着新一代国网加强新能源吸纳的改造，越来越多的新能源分布式电站接入国网，分布式电站一般都需要数字化、智能化，接受业主和智能运维方的随时查控，也需要接受远程主站的电力调度的动态指令、电能质量监测的动态报告等。这里面涉及不同的网络系统，业主端一般是开放的互联网，光伏运维也一般是专线外网或VPN加密的外网
使用jmx exporter采集kafka指标及配置
Jmx exporter中包含了kafka各个组件的指标，如server metrics、producer metrics、consumer metrics等，但这些指标并不是prometheus格式的，因此需要通过重命名方式转变为prometheus格式，重命名规则配置在。并在prometheus
分布式学习-1 Hadoop Spark安装
折腾了一个多月的时间，成功实现了一些应用。学习过程中还是踩了不少坑的，所以在这里对整个构建过程进行整理，方便大家参考学习。
解决kafka消费积压问题
压测遇到的消费积压问题
Kafka消费者调优
kafka消费者性能调优
kafka的副本以及分区与副本的关系
一 副本的作用1.Kafka 副本作用：提高数据可靠性。2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。读写由leader来完成，follower只备份，和leader同步数据，
Dubbo+zookeeper
Dubbo+zookeeperdubbo中文官方文档:https://dubbo.gitbooks.io/dubbo-user-book/content/preface/background.html随着互联网的高速发展，网站不断地扩大，我们的垂直应用架构无法应对，分布式服务架构以及流动计算架构势在
centOS 7下Hadoop伪分布式搭建
centOS下Hadoop伪分布式搭建
Windows上启动Kafka，创建测试实例，关闭kafka
kafka入门，安装和启动测试，直观展现生产者消费者，后续会有springboot项目和kafka进行整合的项目实例
Kafka消息写入流程
Kafka源码分析 Producer写入消息流程与源码分析
RabbitMQ如何防止消息丢失及重复消费
RabbitMQ如何防止消息丢失及重复消费
Kafka 数据重复怎么办？（案例）
通常，消息消费时候都会设置一定重试次数来避免网络波动造成的影响，同时带来副作用是可能出现消息重复。整理下消息重复的几个场景：先来了解下消息的三种投递语义：了解了这三种语义，再来看如何解决消息重复，即如何实现精准一次，可分为三种方法：1） 幂等性 幂等性使用示例：在生产端添加对应配置即可 设置幂等，启
RabbitMQ之交换机
一、RabbitMQ交换机二、RabbitMQ交换机实例讲解
RabbitMQ知识点总结
RabbitMQ 概述生活中的案例生产中的问题为什么要使用 MQ学生问问题的例子 2，分布式项目中 RPC 的调用处理时间过长的问题为什么要使用 MQ微服务架构后，链式调用是我们在写程序时候的一般流程，为了这完成一个整体功能会把它拆分成多个函数（或子模块）比如模块 A 调用模块 B，模块 B 调用模
一文弄懂 ZooKeeper
1. 集群模式部署一般奇数节点，因为你5台机器可以挂2台，6台机器也是挂2台，不能超过一半的机器挂掉，所以5台和6台效果一致，那奇数节点可以减少机器开销，小集群部署，读多写少2. 主从架构： Leader 、 Follower 、 Observer （一般刚开始没必要用）3. 内存数据模型：Znod
【RocketMQ】RocketMQ快速入门
Metaq1.x是RocketMQ前身的第一个版本，本质上把Kafka做了一次java版本的重写（Kafka是scala语言开发）。Meta2.x，主要是对存储部分进行了优化，因为kafka的数据存储，它的partition是一个全量的复制，在阿里、在淘宝的这种海量交易。Kafka这种机制的横向拓展
基于Ubuntu的Hadoop伪分布式配置
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Val
ZooKeeper设置ACL权限控制，删除权限
因为zookeeper会默认启动这几个具有world和cdrwa权限的znode，“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"（根据zookeeper的版本不同可能存在不同，并且这几个节点虽然具有world和cdrwa权限，但是是无法
