Spark中写parquet文件是怎么实现的
的时候得注意不能调整过大，否则会导致OOM，但是如果在最后写文件的时候加入合并小文件的功能（AQE+Rebalance的方式），也可以适当的调整大一点，因为这个时候的Task 不像没有shuffle一样，可能还会涉及到sort以及aggregate等消耗内存的操作，（这个时候就是一个task纯写pa
初识大数据，一文掌握大数据必备知识文集(15)
MapReduce框架中的分布式缓存是一种机制，其允许在MapReduce作业执行期间，将档案（或文件）从Hadoop分布式文件系统（HDFS）复制到所有MapReduce任务所在的节点的本地文件系统中。这些档案可以是词典，配置文件，表格，甚至是代码等。分布式缓存提供了一个快速而可靠的方法，将共享的
为何Kafka在2.8版本开始会“抛弃”Zookeeper？
Kafka被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。
Flink在实时搜索引擎领域的应用
1.背景介绍1. 背景介绍实时搜索引擎是现代互联网的基石之一，它可以实时提供用户查询的结果，为用户提供了快速、准确的信息获取途径。随着互联网的发展，实时搜索引擎的需求也越来越大，因此，研究和开发高性能、高效的实时搜索引擎成为了一项重要的技术任务。Apache Flink 是一个流处理框架，它可以处理
【Spring底层原理高级进阶】Spring Kafka：实时数据流处理，让业务风起云涌！️
Spring Kafka 是 Spring Framework 提供的一个集成 Apache Kafka 的库，用于构建基于 Kafka 的实时数据流处理应用程序。Apache Kafka 是一个高性能、分布式的流数据平台，广泛用于构建可扩展的、实时的数据处理管道。
eureka 简介和基本使用
eureka 简介和基本使用
Flink
一般来说，Spark基于微批处理的方式做同步总有一个“攒批”的过程，所以会有额外开销，因此无法在流处理的低延迟上做到极致。而在海量数据的批处理领域，Spark能够处理的吞吐量更大，加上其完善的生态和成熟易用的API，目前同样优势比较明显。如下图1-4，我们无法等待所有的数据都到达，因为输入是无界的，
Eureka介绍与使用
其他服务需要调用某个服务时，可以向Eureka Server查询该服务的网络地址列表，并从中选择一个进行调用。最后，我们创建一个服务消费者，通过Eureka Server发现服务提供者的网络地址，并进行调用。需要注意的是，在实际使用中，你可能需要处理多个服务实例的情况（例如通过负载均衡算法选择一个实
python毕设选题 - 大数据工作岗位数据分析与可视化 - python flask
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的工作岗位数据分析与可视化🥇学
(14)Hive调优——合并小文件
Hive的小文件问题
【大数据】Flink SQL 语法篇（六）：Temporal Join
Temporal Join 在离线的概念中其实是没有类似的 Join 概念的，但是离线中常常会维护一种表叫做拉链快照表，使用一个明细表去 Join 这个拉链快照表的 Join 方式就叫做 Temporal Join。而 Flink SQL 中也有对应的概念，表叫做Versioned Table，使用
数据仓库学习笔记一
数据仓库（Data Warehouse）是一个用于存储和管理来自多个不同来源的大量结构化数据的系统。它是组织中的决策支持系统（DSS）的核心组件，用于支持复杂的数据分析、商业智能（BI）、报表和数据挖掘任务。主题导向：数据仓库中的数据是围绕组织的关键业务领域或主题（如销售、财务、市场等）进行组织的。
Flink与Kafka集成：跨版本兼容性与性能优化实战
详解如何在Flink与不同版本的Kafka集成中解决兼容性问题，通过自定义SourceFunction和SinkFunction实现高效数据流处理。
【Docker】从零开始：9.Docker命令:Push推送仓库（Docker Hub，阿里云）
Docker Push是Docker的一个命令，用于将本地的Docker镜像推送到仓库中。总之，公有仓库和私有仓库各有优缺点，用户可以根据实际需求选择适合自己的仓库类型。在这已经看到我们推送成功了。在这已经看到我们推送成功了。
【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例 - 完整版
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
[hive] 本地xlsx 导入到hive
首先，将 xlsx 文件中的数据导出为 CSV 格式，这样更方便后续处理。可以使用 Excel 软件将 xlsx 文件另存为 CSV 格式。执行上述命令后，Hive 将会将 CSV 文件中的数据加载到指定的表中。在 Hive 中创建一个新表，用于存储导入的数据。表来验证数据是否成功导入。
Mac 安装 RabbitMQ
mac环境下配置rabbitmq
详解如何保证消息队列不丢失消息（以kafka为例）
综上所述，消息队列通过持久化存储、消息确认机制、事务机制、数据备份与复制以及消息过期机制等手段，保证了消息在传递过程中不丢失。在设计分布式系统时，合理选择并配置这些机制可以有效地提高消息队列的可靠性和稳定性。
大数据前端团队生存指南
本文会简单介绍大数据、大数据前端团队以及可落地的演进方向。ps.针对数据前端团队10人及以内的中小厂。
Flink理论—Flink架构设计
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如，但也可以设置作为独立集群甚至库运行,例如Spark 的 Standalone Mode本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。
