使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
PySpark 是 Apache Spark 的 Python API，可用于处理大规模数据集。它提供了丰富的功能和库，使得数据清洗和转换变得更加高效和便捷。本文介绍了使用 PySpark 对数据进行清洗和 JSON 格式转换的过程。通过上述步骤，我们可以连接到远程 Spark 服务器，加载数据，应
HiveSQL题——collect_set()/collect_list()聚合函数
HiveSQL题——collect_set()/collect_list()聚合函数
hive表中导入数据 多种方法详细说明
- 创建 db_myhive_5-- 创建表score intloaddatalocalinpathscore.txt'overwriteintotabletb_scorepartitionmonth'202006'通过方式加载数据createtablescore3liketb_score;
hive中hiveserver2 两种使用方式
主要使用beeling和DataGrip对hiveserver2进行连接访问
hive 环境配置
是适用于Windows的Docker桌面，是Docker设计用于在Windows 10上运行。它是一 个本地 Windows应用程序，为构建、交付和运行dockerized应用程序提供易于使用的开发环境。使用Windows原生Hyper-V虚拟化和网络，是在Windows上开发Docker应用程序的
【超详细】HIVE 日期函数（当前日期、时间戳转换、前一天日期等）
【超详细】HIVE 日期函数（当前日期、时间戳转换、前一天日期等）常量：当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、日、小时、分、秒等时间戳转换秒 to 时间戳时间戳 to 秒日期 to 时间戳日期之间月、天数差
(14)Hive调优——合并小文件
Hive的小文件问题
[hive] 本地xlsx 导入到hive
首先，将 xlsx 文件中的数据导出为 CSV 格式，这样更方便后续处理。可以使用 Excel 软件将 xlsx 文件另存为 CSV 格式。执行上述命令后，Hive 将会将 CSV 文件中的数据加载到指定的表中。在 Hive 中创建一个新表，用于存储导入的数据。表来验证数据是否成功导入。
hql、数据仓库、sql调优、hive sql、python
英文名称为Data Warehouse，可简写为DW或DWH。为企业级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
Hive【内部表、外部表、临时表、分区表、分桶表】【总结】
分区提供了一个隔离数据和优化查询的可行性方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能导致很多分区上没有数据。分桶表会将指定的列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket中。分区表和分桶表的本质都是将数据按照不同粒度进
hive的应用场景
hive的具体应用
二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）
Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）
【pentaho】kettle读取Hive表不支持bigint和timstamp类型解决。
时候kettle任务jdbc应提供为decimal类型(java 中是bigdecimal类型)的数据。这种仅仅是很难遇到的临界状态场景，其实可以忽略，所以把此判断去除直接让hive的。显示kettle认为此应该是decimal类型(kettle中是TYPE_BIGNUMBER或称BigNumber
从零开始了解大数据(六)：数据仓库Hive篇
Apache Hive是一个强大的数据仓库工具，它利用Hadoop的能力，提供了一种高效且简单的类SQL查询语言，使得对大规模数据的分析和查询变得简单而高效。同时，Hive的架构使其具有很好的扩展性，可以轻松地添加新的功能和优化现有的功能。随着大数据技术的不断发展，Apache Hive在未来的发展
03-黑马程序员大数据开发：Apache Hive
1. 目的：了解什么是分布式SQL计算；了解什么是Apache Hive2. 使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手底层执行MapReduce，可以完成分布式海量数据的SQL处理3. 什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
Hive中的行转列和列转行
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法
自建Hive数据仓库跨版本迁移到阿里云E-MapReduce
最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。技术架构本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优
(03)Hive的相关概念——分区表、分桶表
Hive的相关概念——分区表、分桶表
云计算-HIVE部分代码复习(自用)
云计算-HIVE部分代码复习(自用),包括hive的基本操作,如创建数据仓库,表的基本操作,Hive中数据的导入导出,,数据的到处方式以及Hive分区表的操作和桶的操作
