大数据国赛第2套任务B-子任务一数据抽取
抽取shtd_store库中order_detail的增量数据进入Hudi的ods_ds_hudi库中表order_detail，根据ods_ds_hudi.order_detail表中create_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加分区，分区字段为etl_dat
Spark SQL函数
开窗函数row_number()是Spark SQL中常用的一个窗口函数，使用该函数可以在查询结果中对每个分组的数据，按照其排列的顺序添加一列行号（从1开始），根据行号可以方便地对每一组数据取前N行（分组取TopN）。 上述代码中，df指的是DataFrame对象，使用s
运行Flink作业报错：Job execution failed.
一个将本地文本文件写入到MySQL的Flink作业。
大数据hive表和iceberg表格式
iceberg表，是一种面向大型分析数据集的开放表格式，旨在提供可扩展、高效、安全的数据存储和查询解决方案。它支持多种存储后端上的数据操作，并提供 ACID 事务、多版本控制和模式演化等特性，使数据管理和查询更加灵活便捷。Iceberg 可以屏蔽底层数据存储格式上的差异，向上提供统一的操作 API，
基于Spark天气数据分析系统的设计与实现
在大数据时代，天气数据作为一种重要的公共资源，不仅影响人们的日常生活，还对农业、交通、能源等多个领域产生深远影响。通过对天气数据的全面处理和展示，可以帮助人们更好地理解和预测天气变化，从而做出更加科学的决策。我们设计并实现了一个基于Spark的天气数据分析系统，该系统通过数据采集、清洗、分析和可视化
Git 命令行快速入门
Git 命令行快速入门
Spark RDD实现分组求TopN
这会得到一个新的RDD，其中的元素是二元组，其中第一个元素是姓名，第二个元素是一个迭代器，包含与该姓名关联的所有成绩的二元组。该Scala代码使用了Apache Spark的RDD（弹性分布式数据集）API来处理一个文本文件，该文件包含按逗号分隔的姓名和成绩数据。因为每一行为一条数据，所以先构成（姓
Spark 的Shuffle原理及调优
在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce，而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以，Hadoop中的shuffle性能的高
大数据的地理信息系统：QGIS和ArcGIS的应用
1.背景介绍大数据的地理信息系统(Geographic Information System, GIS)是一种利用计算机科学技术为地理空间数据创建、管理、分析、显示和共享的系统。在大数据时代，地理信息系统在各个领域的应用越来越广泛。例如，地理信息系统在地理信息科学、地理信息工程、地理信息服务、地理信
Hadoop HA ( 3.3.6 ) 保姆级教程，你值得拥有！
master启动journalnode: hdfs --daemon start journalnode。slave1中没有 namenode 则 hdfs namenode -bootstrapStandby。==>目的是：除master的其他namenode节点上同步信息(备份namenode)
深入解析 Spark SQL 中的 REPARTITION 操作
深入解析 Spark SQL 中的 REPARTITION 操作
58、Flink 的项目配置使用 Maven 详解
Flink 的项目配置使用 Maven 详解
【Elasticsearch】Elasticsearch集群管理在分布式环境中的应用
然而，在分布式环境下管理Elasticsearch集群并不是一件简单的任务，需要考虑到集群的节点配置、索引和分片管理、数据的高可用性和灾难恢复、性能调优等多方面的内容。在分布式环境下管理Elasticsearch集群是一项复杂且充满挑战的任务，需要在集群配置、索引和分片管理、高可用性和灾难恢复、性能
大数据基础篇_02
本章内容主要是对hive的概念与使用做一个简述（之后一章会有更详细的介绍），mapreduce执行流程的介绍，Yarn的执行流程的介绍及Zookeeper的相关介绍
光明与速度：AI网络中GPU与光模块的协奏曲
🌟四大网络配置下的光模块需求📍A100+ConnectX6+QM8700三层网络：比例1：6，全部采用200G光模块。📍A100+ConnectX6+QM9700两层网络：1：0.75的800G光模块+1：1的200G光模块。📍H100+ConnectX7+QM9700两层网络：1：1.5的
基于Hadoop的bilibili每周必看词条分析
这次实验中，对……的数据信息进行研究，通过运用大数据处理框架 Spark、Hadoop 及数据可视化技术，对这些数据进行存储、处理和分析，并对……分类。本实验展示了如何利用Hadoop技术对Bilibili平台的数据进行分析，特别是关注每周的热门词条。这些分析可以帮助理解用户的喜好和趋势，为内容创作
重庆大学的计算机学院VS大数据与软件学院
带大家从学科实力、报录数据、考研难度三个维度来进行对比分析两个学院的一个具体情况
大数据基础：Doris重点架构原理
基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
Spark SQL的基本使用和操作
Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spar
Hadoop之Ha高可用搭建教程
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群
