Zookeeper的监听机制及原理解析
ZooKeeper是一个为分布式应用提供一致性服务的软件，它维护了一个类似文件系统的数据结构，每个节点（ZNode）都可以存储数据并挂载子节点，形成了一个层次化的命名空间。ZooKeeper通过提供一系列的服务接口，如数据发布/订阅、命名服务、分布式锁等，帮助分布式系统实现协调与同步。Watcher
Spark内核的设计原理
同时Spark有任务级别的内存管理，任务的计算属于执行内存的一部分。包括检查点支持，易于使用（支持Java，Scala，Python等编程语言），交互式（Spark Shell）和SQL分析（借鉴了ANSI SQL等标准的实用语法和功能），批流一体，丰富的数据支持，高可用，丰富的文件格式支持。DAG
基于Canal和Kafka实现MySQL的Binlog近实时同步
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据
部署kafka时OS需要做什么?
kafka作为一个突出读写性能的消息队列组件。如何做好性能调优，是我们的一个课题。这里我们探讨在os层面，可以对集群进行哪些优化。
Kafka-偏移量（含消费者事务）
Kafka偏移量
阶段三：项目开发---大数据开发运行环境搭建:任务2：安装配置ZooKeeper
安装配置ZooKeeper： 安装配置ZooKeeper：无ZooKeeper是一个开源分布式协调服务，其独特的Leader-Follower集群结构，很好的解决了分布式单点问题。目前主要用于诸如：统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用ZooKeeper的集群管理功能。
大数据-64 Kafka 高级特性 分区 分区重新分配 实测
上节研究Kafka的分区相关副本机制、同步节点、宕机恢复、Leader选举过程等。本节上机实际测试 分区重新分配的 全流程过程。向已经部署好的Kafka集群里添加机器，我们需要从已经部署好的Kafka节点中复制相应的配置文件，然后把里边的 BrokerID 修改为全局唯一的，最后启动这个节点即可让它
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
上节我们研究了Kafka的物理存储，日志存储的概述，日志切分文件，索引切分文件。本节继续研究Kafka的物理存储，日志存储模块，实机查看分析。如果是CreateTime则无法保证顺序。在偏移量索引文件索引中，索引数据都是顺序记录Offset，但时间戳索引文件中每个追加的索引时间戳必须大于之前追加的索
快速搞定分布式RabbitMQ-分布式消息队列基础
Kafka介绍：日志收集和传输；适合产生大量数据的互联网服务的数据收集业务如果你想做消息一条不丢，kafka能够实现，效率会相对低下。分布式；跨平台；实时性；伸缩性强Kafka做日志收集，瓶颈点在ES，ES集群的磁盘满了，导致ES消息限流；消息都堆积在kafka，数据堆积量可能达到了几十亿；并不影响
ELK+Kafka+Filebeat日志分析系统详细！！！
ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志特点：分布式，配置简洁，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二
MQ消息队列的基础使用（以RabbitMQ为例）
AMQP：Advanced Message Queueing Protocol，是用于在应用程序或之间传递业务消息的开放标准，该协议与语言平台无关，更符合微服务中独立性的要求。SpringAMQP：Spring AMQP是基于AMQP协议定义的一套API规范，提供了模板来发送和接收消息，包括两部分，
使用 bend-ingest-kafka 将数据流实时导入到 Databend
bend-ingest-kafka 作为一个强大的工具，为 Databend 用户提供了从 Kafka 实时导入数据的能力。通过本文的介绍，用户应该能够快速上手并利用这个工具来实现实时数据处理的需求。
大数据场景下的Zookeeper集群的搭建
等服务器2启动时，1和2都为自己投一票，1发现2的myid(后续配置)大于自身，把自己的票给服务器2，服务器2有2票还是没有半数以上，两者都looking状态，等服务器3来了，重复操作，服务器3就有3票达到半数以上，服务器3就称为leader,并且服务器1，2改为followeing状态，后续服务器
Zookeeper（九）客户端的启动流程
ZooKeeper的客户端主要由以下几个核心组件组成。
搭建hadoop+spark完全分布式集群环境
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/apps #解压到apps下。进入/home/hadoop/apps/hadoop-2.7.6/etc/Hadoop。sudo vi /etc/profile #修改配置文件。start-s
详解 Spark 各种运行环境的搭建
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
Hadoop 面试题（六）
1. 简述Google三驾马车是Hadoop等分布式系统的基石，其中论文()不属于三驾马车之一 ？2. 简述现有一个安装 2.6.5 版本的 Hadoop 集群，在不修改默认配置的情况下，存储 200 个每个 200M 的文本文件，请问最终会在集群中产生多少个数据块（包括副本） ？3. 假设有Had
Kafka 的零拷贝（Zero Copy）
零拷贝（Zero Copy）是一种计算机操作系统中的技术，用于减少数据在内存中的拷贝次数，从而提高数据传输的效率。传统的数据传输过程中，数据通常需要从磁盘读取到内核缓冲区，再从内核缓冲区拷贝到用户空间缓冲区，最后从用户空间缓冲区拷贝到网络缓冲区进行发送。这个过程中涉及多次数据拷贝，消耗了大量的 CP
Hadoop，ActiveMQ，RabbitMQ，Springboot Actuator未授权访问漏洞（附带修复方法）
Hadoop是⼀个由Apache基⾦会所开发的分布式系统基础架构，由于服务器直接在开放了Hadoop 机器 HDFS 的 50070 web 端⼝及部分默认服务端⼝，⿊客可以通过命令⾏操作多个⽬录下的数据，如进⾏删除，下载，⽬录浏览甚⾄命令执⾏等操作，产⽣极⼤的危害。在 Actuator 启⽤的情况
Zookeeper 四、Zookeeper应用场景
Master选举是一个在分布式系统中非常常见的应用场景。分布式最核心的特性就是能够将具有独立计算能力的系统单元部署在不同的机器上，构成一个完整的分布式系统。而与此同时，实际场景中往往也需要在这些分布在不同机器上的独立系统单元中选出一个所谓的“老大”，在计算机中，我们称之为Master。在分布式系统中
