Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践
本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面理解 Spark on YARN 这
Kafka之消费者组与消费者
对Kafka中的消费组和消费者的理解，以及对分区分配、投递方式的实现进行梳理
基于Python+大数据的共享单车数据可视化辅助分析系统设计与实现
今天带来的是基于Python+大数据的共享单车数据可视化辅助分析系统设计与实现，在全球经济快速发展的背景下，共享单车作为一种新兴的共享经济模式，已经成为现代城市生活中不可或缺的一部分。随着共享单车规模的不断扩大，海量的骑行数据被产生，包括骑行轨迹、用户行为、车辆分布等信息。这些数据背后蕴含着丰富的有
为Meta Spark准备3D模型
有许多工具可以帮助你为 Meta Spark Studio 创建 3D 对象，包括 Cinema4D、Blender 和 3ds Max。你还可以使用 Meta Spark Toolkit 优化 Blender 对象。在本指南中，我们将介绍正确的设置，以便你可以成功地为 Meta Spark Stu
Python连接Kafka收发数据等操作
Apache Kafka 是一个开源流处理平台，由 LinkedIn 开发，并于 2011 年成为 Apache 软件基金会的一部分。Kafka 广泛用于构建实时的数据流和流式处理应用程序，它以高吞吐量、可扩展性和容错性著称。kafka-python 是一个用 Python 编写的 Apache K
大数据-222 离线数仓 - 数仓 数仓模型 事实表 维度表 雪花模型 事实星座 元数据
但是它们之间也有着不同，周期快照事实记录的确定的周期的数据，而积累快照事实记录的不确定的周期的数据。事实数据通常包含大量的行，事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，事实表的粒度决定了数据仓库中数据的详细程度。在大数据平台中，元数据贯穿大数
详解RabbitMQ三种队列类型
经典队列是 RabbitMQ 中最早期也是最常用的一种队列类型。它们具有良好的性能和稳定性，适合大多数常规的消息传递场景。仲裁队列是一种基于 Raft 协议实现的新型队列，专为提高数据一致性和可靠性而设计。消息回放：允许消费者在任何时间点重新读取过去的消息。这对于需要重现历史事件或进行审计的应用程序
【Kafka系列二-生产者】
Kafka系列第二篇章，生产者详解。我们先从生产者从创建到发送消息到Kafka服务端整体流程为引入，然后详细介绍了生产者的创建，同步发送，异步发送，异步发送之后如何处理成功或者失败的消息，Kafka生产者的各参数含义及序列化器，分区器，并给出了相应的示例代码。读者要理解客户端的消息的发送是按批次发送
Flink ClickHouse连接器技术文档
Flink ClickHouse连接器技术文档 flink-connector-clickhouse Flink SQL connector for ClickHouse. Support ClickHouseCatalog and
大数据-221 离线数仓 - 数仓 数据集市 建模方法 数仓分层 ODS DW ADS
数据仓库层次的划分不是固定不变的，可以根据实际需求进行适当裁剪或者是添加，如果业务相对简单和独立，可以将DWD、DWS进行合并。数据仓库（DW）是一种反映主题的全局性数据组织，但全局性数据仓库往往太大，在实际应用中他们按部门或业务分别建立反映各个子主题的局部性数据组织，即数据集市（Data Mart
RabbitMQ 在 Java 和 Spring Boot 中的应用详解
RabbitMQ 是一种开源消息代理软件，广泛用于实现消息传递、队列管理和负载均衡。它通过实现 AMQP（Advanced Message Queuing Protocol）来支持复杂的消息传递模式，是常见的消息中间件之一。本文将深入探讨如何在纯 Java 环境和 Spring Boot 项目中使用
Hive的部署，远程模式搭建，centos换源，linux上下载mysql。
已经给大家准备好了，这个文件里包含了应该有的hive的压缩包，mysql的jar包驱动，还有hadoop02和03的hive-site文件。删除当前目录下版本比较低的guava，如果不是下载的4.0版本的，可能自己的guava不是22版本，大家根据自己的实际情况进行修改哈。删除当前目录下版本比较低的
RabbitMQ 的集群
RabbitMQ 的集群
深入理解 RabbitMQ 及在.NET 中的应用
RabbitMQ 是一个开源的消息代理软件，它实现了高级消息队列协议（AMQP）。消息代理是一种中间件，它在不同的应用程序之间传递消息，使得这些应用程序可以进行异步通信。RabbitMQ 可以在各种操作系统上运行，包括 Linux、Windows 和 macOS。它支持多种编程语言，如 Java、P
RabbitMQ的工作队列在Spring Boot中实现（详解常⽤的⼯作模式）
介绍RabbitMQ的工作队列在Spring Boot中实现
Flink 实时湖仓，为汽车行业数字化加速！
本文整理自阿里云产品专家李鲁兵在阿里云实时计算 Flink 产品介绍中的分享。聚焦汽车行业实时处理和在线采集，覆盖销售、经营、车联网及自动驾驶等领域。
ZooKeeper UI客户端(zkui) 开源项目FAQ
ZooKeeper UI客户端(zkui) 开源项目FAQ zkui zkui is a GUI client of Apache ZooKeeper. Download:
【系统设计】提升Kafka系统性能：Spring Boot实现Lag感知的生产者与消费者
本文介绍了如何在Kafka中实现一个Lag Aware的Producer与Consumer，通过监控各分区的Lag值，动态调整消息的生产与消费策略，达到智能的负载均衡效果。具体实现中，Producer在发送消息前会检查各分区的Lag值，并根据Lag情况选择合适的分区进行消息发送；Consumer则在
Linux系统部署Hive数据仓库
启动前面配置好的hdfs 以及YARN，然后再使用命令bin/hive(完整路径：/export/server/hive/bin/hive)启动Hive。修改/export/server/hadoop/etc/hadoop路径下core-site.xml文件，新增如下配置。切换为hadoop用户，在
Hadoop(YARN)
YARN是Hadoop集群的资源管理和调度系统，它负责为各种分布式计算任务分配和管理资源,包含以下组件：ResourceManager，NodeManager，ApplicationMaster， Container。
