Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数
spark读取数据写入hive数据表
pyspark 从已有数据表读取数据写入目标hive表的代码模板
【Hive】函数（UDF篇）
Hive/UDF
hadoop集群搭建+hive安装
hadoop集群搭建及hive安装
Hive日期时间函数
1.取得当前日期：select current_date(); --返回类型'yyyy-mm-dd',如今天日期'2020-01-01'2.取得当前日期时间：select current_timestamp(); --返回格式'yyyy-mm-dd hh:mi:ss' 如'2021-07-2
Hive自定义UDF函数详解
Hive自定义UDF函数详解一、UDF概述二、UDF种类三、如何自定义UDF四、自定义实现UDF和UDTF4.1 需求4.2 项目pom文件4.3 Hive建表测试及数据4.4 UDF函数编写4.5 UDTF函数编写一、UDF概述UDF全称：User-Defined Functions，即用户自定义
Python小案例（十）利用PySpark循环写入数据
结合python的字符串格式化和PySpark的Hive写入，就可以完成循环写入临时数据
【Hive|Spark】spark写入hive表存储格式问题
The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;
本地数据仓库项目(一) —— 本地数仓搭建详细流程
搭建离线数仓，并实现数据采集到简单数据分析过程
大数据hive篇--UDF函数
udf函数
Hive 上配置 Hive on Spark
在 Hive 上配置 Hive on Spark。
第1关：Hive的安装与配置
Hive的安装与配置第1关：Hive的安装与配置
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
HiveSql一天一个小技巧：如何巧用分布函数percent_rank()求去掉最大最小值的平均薪水问题
本文给出了一种利用percent_rank()求去掉最大最小值的平均薪水的方法，该方法更简洁高效，值得借鉴。通过本文需要掌握的姿势点如下：• PERCENT_RANK函数的作用、意义及使用场景是什么？• PERCENT_RANK函数的结果是如何计算？• PERCENT_RANK与cume_disk
[1142]hive中如何新增字段
文章目录新增字段1、方法1cascade知识2、方法2 （适用于外部表）3、方法3（下下策）修改字段删除列新增字段1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE; alter table 表名 add colum
【Hive】Hive练习题50道
数据展示student表score表teacher表course表在hive中建表导入数据首先要先在hdfs上为每个数据建一个文件名相同的文件夹，以上的4张表都是txt格式的，放入hdfs相对应的文件夹后，使用以下语句建表(因为数据量不大，就直接建内部表)create table if not ex
查询所有HIVE表分区数据量
查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd
kettle连接hive
要替换kettle文件的位置：D:\programfile\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30。注意是要放在hdp30目录下的lib文件夹，而不是像把Oracle/MySQL驱动一样
hive之left semi join（左半连接）使用方法
目录一、建表数据准备二、语法三、left semi join例子四、left semi join、join、left join的区别1、left semi join2、left join3、join结语一、建表数据准备参考hive之full outer join（全连接）使用方法_IMezZ的博客-
Hive的动态分区与静态分区（区别及详解）
Hive的动态分区与静态分区
