安装datagrip以及datagrip连接hive
介绍：DataGrip 出自JetBrains公司,是一款跨平台的数据库管理客户端工具,可在Windows,OS X 和 Linux上使用;同时支持多种数据库:SQL Server, Oracle, PostgreSQL, MySQL, DB2, Sybase, SQLite, Derby, Hyp
hive-动态分区Dynamic Partition
com往分区表插数据时，需要指定分区。这样一次只能插入一个分区。如果插入数据分散在多个分区中，就要通过动态分区功能，自动创建分区并填充。参数配置在使用动态分区之前,我们要进行一些参数的配置.hive.exec.dynamic.partition默认值：false是否开启动态分区功能，默认false关
Hive数据类型
Hive数据类型支持的类型原始数据类型注意DATE类型整数类型小数、Boolean、二进制文本类型时间类型类型转换隐式转换显示转换（CAST函数）复杂数据类型详解ARRAY和MAPSTRUCTUNION实例支持的类型hive支持两种数据类型：原始数据类型、复杂数据类型原始数据类型原始数据类型包括数据
Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。文件中的大约第 110 行中的参数
spark读取数据写入hive数据表
pyspark 从已有数据表读取数据写入目标hive表的代码模板
【Hive】函数（UDF篇）
Hive/UDF
hadoop集群搭建+hive安装
hadoop集群搭建及hive安装
Hive日期时间函数
1.取得当前日期：select current_date(); --返回类型'yyyy-mm-dd',如今天日期'2020-01-01'2.取得当前日期时间：select current_timestamp(); --返回格式'yyyy-mm-dd hh:mi:ss' 如'2021-07-2
Hive自定义UDF函数详解
Hive自定义UDF函数详解一、UDF概述二、UDF种类三、如何自定义UDF四、自定义实现UDF和UDTF4.1 需求4.2 项目pom文件4.3 Hive建表测试及数据4.4 UDF函数编写4.5 UDTF函数编写一、UDF概述UDF全称：User-Defined Functions，即用户自定义
Python小案例（十）利用PySpark循环写入数据
结合python的字符串格式化和PySpark的Hive写入，就可以完成循环写入临时数据
【Hive|Spark】spark写入hive表存储格式问题
The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;
本地数据仓库项目(一) —— 本地数仓搭建详细流程
搭建离线数仓，并实现数据采集到简单数据分析过程
大数据hive篇--UDF函数
udf函数
Hive 上配置 Hive on Spark
在 Hive 上配置 Hive on Spark。
第1关：Hive的安装与配置
Hive的安装与配置第1关：Hive的安装与配置
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
HiveSql一天一个小技巧：如何巧用分布函数percent_rank()求去掉最大最小值的平均薪水问题
本文给出了一种利用percent_rank()求去掉最大最小值的平均薪水的方法，该方法更简洁高效，值得借鉴。通过本文需要掌握的姿势点如下：• PERCENT_RANK函数的作用、意义及使用场景是什么？• PERCENT_RANK函数的结果是如何计算？• PERCENT_RANK与cume_disk
[1142]hive中如何新增字段
文章目录新增字段1、方法1cascade知识2、方法2 （适用于外部表）3、方法3（下下策）修改字段删除列新增字段1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE; alter table 表名 add colum
【Hive】Hive练习题50道
数据展示student表score表teacher表course表在hive中建表导入数据首先要先在hdfs上为每个数据建一个文件名相同的文件夹，以上的4张表都是txt格式的，放入hdfs相对应的文件夹后，使用以下语句建表(因为数据量不大，就直接建内部表)create table if not ex
查询所有HIVE表分区数据量
查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd
