ZooKeeper的安装与操作
是一个分布式的、开放源码的分布式应用程序协调服务，它是的Chubby服务的开源实现，也是和等大数据生态系统中的重要组件。ZooKeeper的目标是为分布式应用提供一致性服务，包括配置维护、域名服务、分布式同步和组服务等。它封装了复杂且易出错的关键服务，通过简单的接口和高效、稳定的系统提供给用户。Zo
hadoop多次格式化解决办法
配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件（在如例地找 /root/wwr/hadoop-3.1.4/etc/hadoop）hadoop首次启动需要格式化，这时若是因为一些原由导致格式化不止一次，就会导致主点之间互相不识别，就会导致一些节点不会启动（如图
RabbitMQ基础知识
BindingKey 并不是在所有的情况下都生效，它依赖于交换器类型，比如 fanout 类型的交换器就会无视，而是将消息路由到所有绑定到该交换器的队列中。RabbitMQ 是使用 Erlang 编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，
Rabbitmq如何保证消息不乱序
RabbitMQ本身不保证消息的顺序性。它是一个分布式的消息代理系统，具有高可用性和负载均衡的特性，这意味着消息可能通过不同的通道被路由到不同的队列或消费者，因此无法保证消息的严格顺序传递。
ELK+kafka日志系统
input配置：指定kafka集群个节点地址，指定topics，该topics就是在k8s集群中daemonset yml文件中引用的topics变量，指定编码为jsonoutput配置：通过type过来日志，将过滤的日志发送给elasticsearch，hosts指定elasticsearch集群
学习了解Spark和Scala的理论知识以及安装部署
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经
(ROOT)KAFKA详解
在RecordAccumulator中的batchs队列中的每个元素就是ProducerBatch，第一次发送消息的时候会消息所在分区的ProducerBatch队列，并创建ProducerBatch将该条消息追加在ProducerBatch，然后有新的消息发送时，就会追加消息到对应TopicPar
Zookeeper 实战
Zookeeper 是一个开源的分布式协调服务，它起源于 Google 的 Chubby 项目，并成为 Hadoop 分布式系统的基础组件。Zookeeper 提供了一组简单的原语集，分布式应用程序可以基于这些原语实现同步服务、配置维护和命名服务等。Zookeeper 主要角色是协调器（Contro
大数据处理与分析-spark
比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。b.RDD提供了一种
Zookeeper与Prometheus的监控与报警
1.背景介绍1. 背景介绍Zookeeper和Prometheus都是在分布式系统中广泛应用的监控工具。Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的方式来管理分布式应用程序的配置信息、服务发现和集群管理。Prometheus是一个开源的监控系统，它可以用来监控和Alert分布式系
rabbitMQ实现延迟队列
自定义的交换机是一种新的交换类型（CustomExchange），这种类型消息支持延迟投递机制消息传递之后不会立即投递到目标队列当中，而是存储在mnesia（一个分布式数据系统）表当中，当到达投递时间之后，才会投递到目标队列当中。//声明目标队列//声明基于插件实现的交换机}*///基于插件实现的交
Spark Stage
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任务被称为一个Stage，可以简单理解为MapReduce里面的Map Stage， Reduce Stage。Spark的Job中Stage之间会有依赖关系。可以利
如何使用RabbitMQ实现消息延迟发送
1.背景介绍在现代分布式系统中，消息队列是一种常见的异步通信方式，可以帮助系统实现解耦和伸缩。RabbitMQ是一款流行的开源消息队列系统，支持多种消息传输协议，如AMQP、MQTT等。在某些场景下，我们需要实现消息的延迟发送功能，例如在特定时间或事件触发后发送消息。本文将介绍如何使用RabbitM
Zookeeper（五）Zokeeper 环境搭建与Curator使用
其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的
Java——《面试题——分布式篇》
第一阶段询问各个事务数据源是否准备好。第二阶段才真正将数据提交给事务数据源。为了保证该事务可以满足ACID，就要引入一个协调者（Cooradinator）。其他的节点被称为参与者 （Participant）。协调者负责调度参与者的行为，并最终决定这些参与者是否要把事务进行提交。阶段一a) 协调者向所
原来你是这样的Hadoop!
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。1.1.HDFS（分布式文件系统）HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）的特点，并且设
如何使用 RabbitMQ 进行消息的发送和接收
在上述示例中，我们创建了一个连接工厂，并通过它建立与 RabbitMQ 服务器的连接和通道。然后，我们声明了一个直连型交换器和一个队列，并将它们绑定在一起。接下来，我们使用basicPublish方法发送消息到交换器，并使用basicConsume方法启动消费者来接收消息。请注意，这只是一个简单的示
零基础快速认识云三大数据
MapReduce是一种用于大规模数据处理的编程模型和算法。它最初由Google公司提出，并被用于处理大规模的Web搜索日志数据。后来，Apache Hadoop项目将MapReduce引入开源社区，并成为大数据处理的重要组成部分。MapReduce的设计目标是能够在分布式环境下高效地处理大规模数据
Kafka
Kafka是一个分布式流式平台，它有三个关键能力订阅发布记录流，它类似于企业中的消息队列或企业消息传递系统以容错的方式存储记录流实时记录流。
ubuntu中Hadoop伪分布安装
Hadoop伪分布安装。主要参考《大数据技术原理与应用》第三版。
