2.8日学习打卡----初学RabbitMQ（三）
之前我们使用原生JAVA操作RabbitMQ较为繁琐，接下来我们使用SpringBoot整合RabbitMQ，简化代码编写创建SpringBoot项目，引入RabbitMQ起步依赖
2024-02-26（Spark，kafka）
1）SparkSQL和Hive都是用在大规模SQL分布式计算的计算框架，均可以运行在YARN上，在企业中被广泛应用。2）SparkSQL的数据抽象为：SchemaRDD（废弃），DataFrame（Python，R，Java，Scala），DataSet（Java，Scala）3）DataFrame
探索Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
Hadoop作为一种强大的大数据处理框架，有多种运行模式，每种模式都适用于不同的使用场景。本文将介绍Hadoop的三种常见运行模式：单机模式、伪分布式模式和完全分布式模式。
RabbitMQ基础篇
SpringAMQP是基于RabbitMQ封装的一套模板，并且还利用SpringBoot对其实现了自动装配，使用起来非常方便。自动声明队列、交换机及其绑定关系基于注解的监听器模式，异步接收消息封装了RabbitTemplate工具，用于发送消息Publisher：生产者，也就是要发送消息的程序，但是
Hadoop-Yarn-启动篇
1、用户执行./start-yarn.sh2、start-yarn.sh中依次启动resourceManager、nodemanager、proxyserver3、根据yarn命令和hadoop-functions.sh找到三个角色的启动类，并且在本地或者远程（通过ssh的方式）启动各自的java进
spark的保姆级配置教程
如果报以下错误，就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名，重命名为。在文件后面追加下面的内容。路径根据你自己的修改。
大数据组件Apache Kafka：分布式流处理平台（消息队列）概述
Apache Kafka是一个分布式流处理平台，由LinkedIn开发，并于2011年成为Apache软件基金会的一部分。Kafka设计用于高吞吐量、可扩展性、容错性，以及能够处理实时数据流的需求。它在Web应用、日志聚合、流数据处理和实时分析等方面特别受欢迎。
RabbitMQ
消息队列(Message Queue)”是在消息的传输过程中保存消息的容器。在消息队列中，通常有生产者和消费者两个角色。生产者只负责发送数据到消息队列，谁从消息队列中取出数据处理，他不管。消费者只负责从消息队列中取出数据处理，他不管这是谁发送的数据。
kafka
在安装kafka时发现，现在kafka和zookeeper是绑定在一起的而且kafka是需要java环境的，zookeeper的端口为2181，kafka的端口为9092。kafka的consumer是通过主动从broker的topic中pull拉取消息，productor是通过push主动向bro
RabbitMQ详解，入门到基本使用
AMQP不是某个具体的软件产品或服务，而是一种通用的标准接口，任何遵循AMQP协议的软件系统都可以实现相互之间的互联互通，无论它们是由何种编程语言编写，运行在什么操作系统之上。简而言之，Spring AMQP的目标是让开发者更易于在Spring应用程序中使用消息队列服务，降低消息驱动架构的复杂性，提
RabbitMq异步请求+Redis轮询解决响应时间过长
后端处理数据时间超长导致前端页面一直等待是一个比较常见的问题，前端页面一直等待造成假死状态并且可能会造成超时连接。本文提供了使用RabbitMq异步消息队列+redis轮询解决了该问题。
Kafka系列(四)
简介一下kafkaStream。
Windows10 Pyspark+Hadoop 环境配置
Hadoop 补丁包下载地址：https://github.com/kontext-tech/winutils，
RabbitMQ的常见基本类型
1.背景介绍RabbitMQ是一种开源的消息代理服务，它使用AMQP(Advanced Message Queuing Protocol)协议来传输消息。AMQP是一种开放标准，用于在分布式系统中传输消息。RabbitMQ可以用于构建分布式系统，实现异步处理，提高系统性能和可靠性。RabbitMQ支
Zookeeper与Nginx的集成与应用
1.背景介绍1. 背景介绍Zookeeper和Nginx都是现代互联网技术中的重要组成部分，它们在分布式系统和网络应用中发挥着重要作用。Zookeeper是一个开源的分布式协调服务，用于管理分布式应用的配置、服务发现和集群管理等功能。Nginx是一个高性能的Web服务器和反向代理，常用于处理大量并发
必知必会 RabbitMQ面试题 33道（附答案）
生产者将消息发送给交换器的时候，会指定一个RoutingKey,用来指定这个消息的路由规则，这个RoutingKey需要与交换器类型和绑定键(BindingKey)联合使用才能最终生效。
Zookeeper的性能优化实践
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的、高性能的协同机制，用于构建分布式应用程序。Zookeeper的核心功能包括：集群管理、数据同步、配置管理、领导选举等。在分布式系统中，Zookeeper被广泛应用于实现一致性哈希、分布式锁、分布
Zookeeper的持久性与一致性原理
1.背景介绍1. 背景介绍Apache Zookeeper 是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的协调服务，以解决分布式系统中的一些复杂问题，如集群管理、数据同步、负载均衡等。Zookeeper 的核心功能包括：原子性操作：实现分布式环境下的原子性操作，确保
Hadoop分布式集群安装
Hadoop分布式集群安装
PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle、Spark执行流程
RDD之间进行相互迭代计算(Transformation的转换),当执行开启后,新RDD的生成,代表老RDD的消失RDD的数据是过程数据,只在处理的过程中存在,一旦处理完成，就不见了例如下面这个例子，生成rdd4的时候， rdd3已经被销毁了，然后下面rdd5需要调用rdd3的时候，只能从rdd->
