spark期末整理复习
DataFrame可以看作是分布式的Row对象的集合，在二维表数据集的每一列都带有名称和类型，这就是Schema元信息，这使得Spark框架可获取更多数据结构信息，从而对在DataFrame背后的数据源以及作用于DataFrame之上数据变换进行针对性的优化，最终达到提升计算效率。
一文了解Spark引擎的优势及应用场景
而对数据计算复杂（有推荐、分类、聚类算法场景）且时延要求高的场景，如迭代计算, 交互式计算, 流计算、有机器学习算法需求，图计算需求，且成本投入可以接受的情况下使用Spark SQL,Spark SQL读取的数据都是存入到内存中，因此对机器的内存有要求，且要求内存较大, 相对较贵.总结一下，hive
【RabbitMQ】初识 RabbitMQ
RabbitMQ 是目前应用相当广泛的消息中间件（其他同类的消息处理中间件有 ActiveMQ、Kafka 等）。在企业级应用、微服务应用中，RabbitMQ 担当着十分重要的角色。例如，在业务服务模块中解耦、异步通信、高并发限流、超时业务、数据延迟处理 等都可以使用 RabbitMQ。
Kafka 如何保证数据可靠
对头，所以这就涉及到一开始分区的副本的leader 和follower 之间通信同步数据的问题，假设producer 发送一条消息到topiA 的partition-0，它有三个副本，我们要保证数据可靠肯定要确保老大leader把数据拿到手了，告诉了其他的副本兄弟之后，然后给producer 发送一
Kafka小白：从下载到运行简单示例
本文针对小白快速入门，不涉及过多Kafka概念，只讲解如何实操（不详细解释代码）。只要按照步骤进行，就能运行Kafka。提供的简单示例使用Kafka默认配置文件，不需要修改配置文件，过程十分简单。读者可以自行学习使用自己的配置，如配置集群等。演示操作系统：ubuntu（centos操作类似）前置环境
kafka（一）原理（2）组件
kafka服务器的官方名字，一个集群由多个broker组成，一个broker可以容纳多个topic。
kafka-主题创建（主题操作的命令）
一个分区可以有多个副本（replicas：负责接收数据的分区副本为leader，其他的为follower）副本数量不能超过broker数量。一个topic可能拆分成多个分区（partition）kafka发送消息会存到主题中。消费者会从主题中获取消息消费。
【Hadoop集群搭建】实验4：完全分布式 Hadoop 安装部署及测试
1. 掌握 SSH 免密钥通信配置方法2. 掌握 Hadoop 集群配置部署方法集群安装配置完整过程a) 3 台客户机（关闭防火墙、设置好IP、主机名、时钟同步等信息在之前发布的博客有）b) 分别安装 JDK 并配置环境变量c) 安装 Hadoop 并配置环境变量d) 配置 SSH 免密钥通信e)
spark-3.5.1+Hadoop 3.4.0+Hive4.0 分布式集群 安装配置
三 Spark 与Hive 集成。1 拷贝配置文件和Mysql 驱动。2 登录hive，创建测试表。3 启动 spark-sql。3 安装spark。
RabbitMQ,想说爱你不容易(附详细安装教程)
RabbitMQwget https://dl.bintray.com/rabbitmq/all/rabbitmq-server/3.8.4/rabbitmq-server-generic-unix-3.8.4.tar.xz //下载RabbitMQxz -d rabbitmq-server-ge
RabbitMQ无法删除unsynchronized队列及解决办法
操作系统：CentOS7。
kafka 集群 Controller 节点和 zookeeper 集群 leader 节点有何区别联系？
Kafka 集群中的 Controller 节点和 ZooKeeper 集群中的 Leader 节点在角色和功能上有明显的区别，但它们之间也有一定的联系。
ELK+Filebeat+kafka+zookeeper构建海量日志分析平台
ELK 是ElasticSearch开源生态中提供的一套完整日志收集、分析以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。除此之外，FileBeat也是目前使用较多的日志收集软件，相对于Logstash更加轻量级占用资源更少。Elas
Window系统下安装、配置、使用Kafka
Window系统下安装、配置何使用KafKa
Hadoop核心技术知识总结
Hadoop核心技术的课程总结主要涵盖了Hadoop的基本概念、核心技术模块以及其在大数据处理领域的优势和应用。首先，Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要用于解决大数据集的存储和计算分析问题。它使用Java语言开发，具有跨平台性，并且是开源的。Hadoop运行在廉价机
Kafka 如何保证可靠性
在如今的分布式环境时代，任何一款中间件产品，大多都有一套机制去保证高可用的，Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知，那 Kafka 如何保证可靠性的呢？本文从 Producer 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍 Kafka
RabbitMQ（五）集群配置、Management UI
RabbitMQ（五）集群配置、Management UI
Kafka 如何保证数据不丢失？不重复
当设置成false时，由于是手动提交的，可以处理一条提交一条，也可以处理一批，提交一批，由于consumer在消费数据时是按一个batch来的，当pull了30条数据时，如果我们处理一条，提交一个offset，这样会严重影响消费的能力，那就需要我们来按一批来处理，或者设置一个累加器，处理一条加1，如
Kafka精要
Kafka精要
深入解析 RocketMQ 和 Kafka 的消息压缩机制
消息队列系统在现代分布式系统中扮演着重要角色，它们不仅需要高效地传递消息，还需要在传输过程中尽量减少带宽和存储的占用。消息压缩是一种常见的优化手段，可以显著减少消息的体积。本文将详细探讨 RocketMQ 和 Kafka 的消息压缩机制，并对比它们的优劣，帮助你选择适合自己系统的压缩方式。
