Hadoop-Yarn-启动篇
1、用户执行./start-yarn.sh2、start-yarn.sh中依次启动resourceManager、nodemanager、proxyserver3、根据yarn命令和hadoop-functions.sh找到三个角色的启动类，并且在本地或者远程（通过ssh的方式）启动各自的java进
spark的保姆级配置教程
如果报以下错误，就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名，重命名为。在文件后面追加下面的内容。路径根据你自己的修改。
大数据组件Apache Kafka：分布式流处理平台（消息队列）概述
Apache Kafka是一个分布式流处理平台，由LinkedIn开发，并于2011年成为Apache软件基金会的一部分。Kafka设计用于高吞吐量、可扩展性、容错性，以及能够处理实时数据流的需求。它在Web应用、日志聚合、流数据处理和实时分析等方面特别受欢迎。
RabbitMQ
消息队列(Message Queue)”是在消息的传输过程中保存消息的容器。在消息队列中，通常有生产者和消费者两个角色。生产者只负责发送数据到消息队列，谁从消息队列中取出数据处理，他不管。消费者只负责从消息队列中取出数据处理，他不管这是谁发送的数据。
kafka
在安装kafka时发现，现在kafka和zookeeper是绑定在一起的而且kafka是需要java环境的，zookeeper的端口为2181，kafka的端口为9092。kafka的consumer是通过主动从broker的topic中pull拉取消息，productor是通过push主动向bro
RabbitMQ详解，入门到基本使用
AMQP不是某个具体的软件产品或服务，而是一种通用的标准接口，任何遵循AMQP协议的软件系统都可以实现相互之间的互联互通，无论它们是由何种编程语言编写，运行在什么操作系统之上。简而言之，Spring AMQP的目标是让开发者更易于在Spring应用程序中使用消息队列服务，降低消息驱动架构的复杂性，提
RabbitMq异步请求+Redis轮询解决响应时间过长
后端处理数据时间超长导致前端页面一直等待是一个比较常见的问题，前端页面一直等待造成假死状态并且可能会造成超时连接。本文提供了使用RabbitMq异步消息队列+redis轮询解决了该问题。
Kafka系列(四)
简介一下kafkaStream。
Windows10 Pyspark+Hadoop 环境配置
Hadoop 补丁包下载地址：https://github.com/kontext-tech/winutils，
RabbitMQ的常见基本类型
1.背景介绍RabbitMQ是一种开源的消息代理服务，它使用AMQP(Advanced Message Queuing Protocol)协议来传输消息。AMQP是一种开放标准，用于在分布式系统中传输消息。RabbitMQ可以用于构建分布式系统，实现异步处理，提高系统性能和可靠性。RabbitMQ支
Zookeeper与Nginx的集成与应用
1.背景介绍1. 背景介绍Zookeeper和Nginx都是现代互联网技术中的重要组成部分，它们在分布式系统和网络应用中发挥着重要作用。Zookeeper是一个开源的分布式协调服务，用于管理分布式应用的配置、服务发现和集群管理等功能。Nginx是一个高性能的Web服务器和反向代理，常用于处理大量并发
必知必会 RabbitMQ面试题 33道（附答案）
生产者将消息发送给交换器的时候，会指定一个RoutingKey,用来指定这个消息的路由规则，这个RoutingKey需要与交换器类型和绑定键(BindingKey)联合使用才能最终生效。
Zookeeper的性能优化实践
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的、高性能的协同机制，用于构建分布式应用程序。Zookeeper的核心功能包括：集群管理、数据同步、配置管理、领导选举等。在分布式系统中，Zookeeper被广泛应用于实现一致性哈希、分布式锁、分布
Zookeeper的持久性与一致性原理
1.背景介绍1. 背景介绍Apache Zookeeper 是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的协调服务，以解决分布式系统中的一些复杂问题，如集群管理、数据同步、负载均衡等。Zookeeper 的核心功能包括：原子性操作：实现分布式环境下的原子性操作，确保
Hadoop分布式集群安装
Hadoop分布式集群安装
PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle、Spark执行流程
RDD之间进行相互迭代计算(Transformation的转换),当执行开启后,新RDD的生成,代表老RDD的消失RDD的数据是过程数据,只在处理的过程中存在,一旦处理完成，就不见了例如下面这个例子，生成rdd4的时候， rdd3已经被销毁了，然后下面rdd5需要调用rdd3的时候，只能从rdd->
RabbitMQ
(队列满了,无法再添加信的数据到MQ中,MQ会采取一定的策略来处理这些无法存储的新消息.最常见的策略是丢弃队列中的旧消息(例如最早进入队列未被消费的消息)来为新消息腾出空间.被丢弃的就消息就成为死信,如果队列配置了死信交换机(DLX),这些死信会被发送到指定的死信交换机,或被路由到特定的死信队列中)
RabbitMQ实现延迟消息的方式-死信队列、延迟队列和惰性队列
Lazy Queues惰性队列，惰性队列在接收到消息后会直接存入到磁盘中（而非内存），并且在消费者要消费消息时才会从磁盘中读取到并加载到内存，基于这个特性多以惰性队列支持百万条消息的存储。可用于解决消息堆积问题（当生产者发送消息的速度超过消费者处理消息的速度，会导致队列中的消息堆积，直到队列存储消息
RabbitMQ开启MQTT协议支持
RabbitMQ开启MQTT协议支持
hadoop ha安装
Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。它的发展背景可以追溯到Google的MapReduce和Google File System（GFS）的论文，这两篇论文启发了Hadoop的设计。Hadoop的主要应用场景包括大数据存储、处理和分析，特别是在需要处理海量
