Hive中的行转列和列转行
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法
自建Hive数据仓库跨版本迁移到阿里云E-MapReduce
最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。技术架构本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优
(03)Hive的相关概念——分区表、分桶表
Hive的相关概念——分区表、分桶表
云计算-HIVE部分代码复习(自用)
云计算-HIVE部分代码复习(自用),包括hive的基本操作,如创建数据仓库,表的基本操作,Hive中数据的导入导出,,数据的到处方式以及Hive分区表的操作和桶的操作
Hive的UDF开发之向量化表达式（VectorizedExpressions）
笔者的的SailWorks模块包含离线分析功能。离线分析的后台实现，包含调度引擎、执行引擎、计算引擎和存储引擎。计算和存储引擎由Hive提供，调度引擎和执行引擎由我们自己实现。调度引擎根据DAG图和调度计划，安排执行顺序，监控执行过程。执行引擎接收调度引擎安排的任务，向Yarn申请容器，在容器中执行
dolphin上MySQL到hive、seatunnel任务创建
3.根据需要创建TransformParam，TransformParam中可添加多个Transform，Transform用于对数据源表处理产生结果表供后续transform或sink使用，transform的source_table_name为上一段流程的结果表，result_table_nam
Hive实战：网址去重
在本次实战任务中，我们利用Hive大数据处理框架对三个文本文件（ips01.txt、ips02.txt、ips03.txt）中的IP地址进行了整合与去重。首先，在虚拟机上创建了这三个文本文件，并将它们上传至HDFS的目录下作为原始数据源。接着，启动了Hive Metastore服务和客户端，以管理和
Doris配置外表以及多个Hive外表的配置
Doris/starrocks等建立catlog进行跨库查询,多个Hive外表的配置
Hive SQL中的列转行（lateral view与explode）、行转列
列转行、行转列的灵活运用
【JavaEE进阶】 拦截器(DispatcherServlet)源码简介
上一篇博客我们使用了拦截器，那么拦截器是如何实现拦截的呢？接下来我们将从源码来看一下是如何实现拦截的。适配器模式,也叫包装器模式.将⼀个类的接⼝，转换成客⼾期望的另⼀个接⼝,适配器让原本接⼝不兼容的类可以合作⽆间.简单来说就是⽬标类不能直接使⽤,通过⼀个新类进⾏包装⼀下,适配调⽤⽅使⽤.把两个不兼容
CentOS7 Hive2.3.8安装
删空后加入以下内容，注意复制进去的时候不要少了>符号之类的小错误，此文件涉及到之前设置的密码Root123!,如果你不一样，记得改。复制备份hive-default.xml.template并命名为hive-site.xml。在文件最底下加，注意hadoop版本和java版本以及路径是否和我一样，不
二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
企业级大数据安全架构（十）DBeaver连接Hive的Kerberos认证配置
因为Kerberos认证过程及集群服务中，很多是以主机名的形式进行访问的，所以工作机要设置hosts. 域名映射，我们通过部署CDH的集群的每一台机器都已经配置了host(文件为/etc/hosts)，工作机也需要配置window的host文件，如果提示无法修改，一般是需要管理员权限的原因，比较简单
Spark SQL和Hive SQL 的对比
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分
安装配置hive
正确安装Hive；正确配置Hive，理解其配置原理。
hive--外部表常用操作 全面且详细
在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的hdfs目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)。外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所
Hive与Presto中的列转行区别
Hive、Spark和Presto都提供了这种实现，但有所不同。下面通过这个案例介绍三者之间的区别及注意事项。在处理数据时，我们经常会遇到一个字段存储多个值，这时需要把一行数据转换为多行数据，形成标准的结构化数据。不会自动过滤被转换列和转换列字段值为空的数据，因此此方式数据不会丢失。会自动过滤被转换
Hive实战：计算总分与平均分
本次实战以Hive为核心，针对学生成绩数据进行统计分析。首先，在虚拟机中创建score.txt文件存储五名学生的成绩记录，并上传至HDFS的路径下。接着启动Hive Metastore服务和客户端，创建与成绩表结构对应的内部表t_score，并运用load data命令将HDFS数据导入该表。最后，
2024.2.10 HCIA - Big Data笔记
MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算,存储优势及大数据行业经验,为客户提供高性能,低成本,灵活易用的全栈大数据平台,为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，
flink sql 实战实例 及延伸问题：聚合/数据倾斜/DAU/Hive流批一体 等
核心问题在于成本过高。甚至可以使用 10 分钟级别的分区策略，使用 Flink 的 Hive streaming source 和 Hive streaming sink ，可以大大提高 Hive 数仓的实时性到准实时分钟级，在实时化的同时，也支持针对 Table 全量的 Ad-hoc 查询，提高灵
