Hive的UDF开发之向量化表达式（VectorizedExpressions）
笔者的的SailWorks模块包含离线分析功能。离线分析的后台实现，包含调度引擎、执行引擎、计算引擎和存储引擎。计算和存储引擎由Hive提供，调度引擎和执行引擎由我们自己实现。调度引擎根据DAG图和调度计划，安排执行顺序，监控执行过程。执行引擎接收调度引擎安排的任务，向Yarn申请容器，在容器中执行
dolphin上MySQL到hive、seatunnel任务创建
3.根据需要创建TransformParam，TransformParam中可添加多个Transform，Transform用于对数据源表处理产生结果表供后续transform或sink使用，transform的source_table_name为上一段流程的结果表，result_table_nam
Hive实战：网址去重
在本次实战任务中，我们利用Hive大数据处理框架对三个文本文件（ips01.txt、ips02.txt、ips03.txt）中的IP地址进行了整合与去重。首先，在虚拟机上创建了这三个文本文件，并将它们上传至HDFS的目录下作为原始数据源。接着，启动了Hive Metastore服务和客户端，以管理和
Doris配置外表以及多个Hive外表的配置
Doris/starrocks等建立catlog进行跨库查询,多个Hive外表的配置
Hive SQL中的列转行（lateral view与explode）、行转列
列转行、行转列的灵活运用
【JavaEE进阶】 拦截器(DispatcherServlet)源码简介
上一篇博客我们使用了拦截器，那么拦截器是如何实现拦截的呢？接下来我们将从源码来看一下是如何实现拦截的。适配器模式,也叫包装器模式.将⼀个类的接⼝，转换成客⼾期望的另⼀个接⼝,适配器让原本接⼝不兼容的类可以合作⽆间.简单来说就是⽬标类不能直接使⽤,通过⼀个新类进⾏包装⼀下,适配调⽤⽅使⽤.把两个不兼容
CentOS7 Hive2.3.8安装
删空后加入以下内容，注意复制进去的时候不要少了>符号之类的小错误，此文件涉及到之前设置的密码Root123!,如果你不一样，记得改。复制备份hive-default.xml.template并命名为hive-site.xml。在文件最底下加，注意hadoop版本和java版本以及路径是否和我一样，不
二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
企业级大数据安全架构（十）DBeaver连接Hive的Kerberos认证配置
因为Kerberos认证过程及集群服务中，很多是以主机名的形式进行访问的，所以工作机要设置hosts. 域名映射，我们通过部署CDH的集群的每一台机器都已经配置了host(文件为/etc/hosts)，工作机也需要配置window的host文件，如果提示无法修改，一般是需要管理员权限的原因，比较简单
Spark SQL和Hive SQL 的对比
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分
安装配置hive
正确安装Hive；正确配置Hive，理解其配置原理。
hive--外部表常用操作 全面且详细
在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的hdfs目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)。外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所
Hive与Presto中的列转行区别
Hive、Spark和Presto都提供了这种实现，但有所不同。下面通过这个案例介绍三者之间的区别及注意事项。在处理数据时，我们经常会遇到一个字段存储多个值，这时需要把一行数据转换为多行数据，形成标准的结构化数据。不会自动过滤被转换列和转换列字段值为空的数据，因此此方式数据不会丢失。会自动过滤被转换
Hive实战：计算总分与平均分
本次实战以Hive为核心，针对学生成绩数据进行统计分析。首先，在虚拟机中创建score.txt文件存储五名学生的成绩记录，并上传至HDFS的路径下。接着启动Hive Metastore服务和客户端，创建与成绩表结构对应的内部表t_score，并运用load data命令将HDFS数据导入该表。最后，
2024.2.10 HCIA - Big Data笔记
MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算,存储优势及大数据行业经验,为客户提供高性能,低成本,灵活易用的全栈大数据平台,为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，
flink sql 实战实例 及延伸问题：聚合/数据倾斜/DAU/Hive流批一体 等
核心问题在于成本过高。甚至可以使用 10 分钟级别的分区策略，使用 Flink 的 Hive streaming source 和 Hive streaming sink ，可以大大提高 Hive 数仓的实时性到准实时分钟级，在实时化的同时，也支持针对 Table 全量的 Ad-hoc 查询，提高灵
HIVE核心优化方案
目录1.数据采样2.join优化3.Hive索引4.数据倾斜。
spark3使用hive zstd压缩格式总结
ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squen
hive/sparksql/presto 时区转换和时间类型转换
hive/sparksql/presto 时区转换和时间类型转换
删除和清空Hive外部表数据
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这
