【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决
【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决。最近在使用海豚调度DolphinScheduler的Datax组件时，遇到这么一个问题：之前给客户使用海豚做的离线数仓的分层搭建，一直都运行好好的，过了个元旦，这几天突然在数仓做任务时报错
Hive外表创建和加载数据
由于我们的源数据目录没有显示的指定分区字段，因此建表的时候没有指定 location，通过 load data inpath 命令来装载数据。1、load data 命令会移动数据2、load data inpath … overwrite 命令使用不当会导致数据被覆盖。3、通过 alter tab
Hive csv文件导入Hive
【代码】Hive csv文件导入Hive。
Hive-SQL语法大全
]，表示可选，如上[LOCATION]表示可写、可不写，表示或，如上ASC | DESC，表示二选一…，表示序列，即未完结，如上表示在SELECT后可以跟多个，以逗号隔开()，表示必填，如上(A | B | C)表示此处必填，填入内容在A、B、C中三选一。
【Hive_03】单行函数、聚合函数、窗口函数、自定义函数、炸裂函数
Hive会将常用的逻辑封装成函数给用户进行使用，类似于Java中的函数。好处：避免用户反复写逻辑，可以直接拿来使用。重点：用户需要知道函数叫什么，能做什么。Hive提供了大量的内置函数，按照其特点可大致分为如下几类：单行函数、聚合函数、炸裂函数、窗口函数。以下命令可用于查询所有内置函数的相关信息。1
HiveSQL基础命令02
分区是针对文件夹（内部文件例如.txt也会被分），原理和SQL的group by类似,是将原表中一个或多个文件，通过给新字段对应原表字段分区，分成多个文件夹存放文件，存放到分区表中，这样在扫描特定文件（以分区字段来查询）的时候不需要全盘扫描。3. 分桶规则用的是: 哈希取模分桶法, 简单来说, 就是
任务15：使用Hive进行全国气象数据分析
任务描述任务指导。
Hive HWI 配置
1、下载安装好hive后，发现hive有hwi界面功能，研究下是否可以运行，于是使用hive –service hwi命令启动hwi界面报错。启动hwi功能2、访问192.168.126.110:9999/hwi，发现访问错误一、HWI介绍HWI）是Hive-2-1版本之前的源码中提供的网页控制台工
Hive表操作
external , 创建外部表partitioned by，分区表clustered by , 分桶表stored as , 存储格式location ， 存储位置2.数据类型分类类型描述字面量示例原始类型TINYINT1字节的有符号整数 -128~1271YSMALLINT2字节的有符号整数 -
Hive行转列[一行拆分成多行/一列拆分成多列]
hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A3220090:-40,A3220091:-40,A3220083:-40,A3220087:-40,A3220086:-40,A32
Hive窗口函数整理
Hive 中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。窗口函数在处理排名、计算累计和或计算移动平均值等问题时特别有用。这只是 Hive 中窗口函数的一个简短列表。当与其他 SQL 功能（如分区、排序和子
Hive的四种排序方法
hive有四种排序方法: ORDER BY 、SORT BY 、DISTRIBUTE BY 、CLUSTER BY。hive排序方法,hive的排序方式。
【sentry 到 ranger 系列】一、Sentry 的 Hive 鉴权插件
代码走读 + 图文并茂，直击 Sentry 的 Hive 鉴权插件灵魂深处
大数据系统常用组件理解（Hadoop/hive/kafka/Flink/Spark/Hbase/ES）
Spark streaming接收kafka、Flume、HDFS、套接字等各种来源实时输入数据，进行处理，处理后结构数据可存储到文件系统、数据库，或显示在可视化图像中；Hive 是构建在Hadoop HDFS上的数据仓库，可以将结构化的数据文件映射成一张数据库表，并提供类SQL查询功能，主要完成海
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模（Data Warehouse Modeling）是指在数据仓库（Data Warehouse）中组织和设计数据的过程，以便支持数据分析、报告和决策制定。数据仓库是一个集成的、主题导向的数据存储，用于存储来自不同来源的数据，经过清洗、转换和集成，以支持业务分析和决策。主要目标是创建一个能
大数据开发之Hive（企业级调优）
创建测试用例1、建大表、小表和JOIN后表的语句2、分别向大表和小表中导入数据。
网约车大数据综合项目——数据分析Hive
【代码】网约车大数据综合项目——数据分析Hive。
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率
Hive SQL判断一个字符串中是否包含字串的6种方式及其效率
Hive实战：分科汇总求月考平均分
在这个实战中，我们运用了Hive框架来处理学生的月考成绩数据。具体步骤如下：准备数据： 我们准备了三个文本文件，分别包含了语文、数学和英语的月考成绩数据，并将这些数据上传到HDFS的指定目录。启动Hive Metastore服务并连接Hive客户端： 我们启动了Hive Metastore服务，并通
使用Sqoop将Hive数据导出到TiDB
关系型数据库与大数据平台之间的数据传输之前写过一些。我发现一些大家可能会忽略但很重要的地方！所以，请继续看下去，你肯定会有收获的！！！
