Spark SQL和Hive SQL 的对比
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分
安装配置hive
正确安装Hive；正确配置Hive，理解其配置原理。
hive--外部表常用操作 全面且详细
在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的hdfs目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)。外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所
Hive与Presto中的列转行区别
Hive、Spark和Presto都提供了这种实现，但有所不同。下面通过这个案例介绍三者之间的区别及注意事项。在处理数据时，我们经常会遇到一个字段存储多个值，这时需要把一行数据转换为多行数据，形成标准的结构化数据。不会自动过滤被转换列和转换列字段值为空的数据，因此此方式数据不会丢失。会自动过滤被转换
Hive实战：计算总分与平均分
本次实战以Hive为核心，针对学生成绩数据进行统计分析。首先，在虚拟机中创建score.txt文件存储五名学生的成绩记录，并上传至HDFS的路径下。接着启动Hive Metastore服务和客户端，创建与成绩表结构对应的内部表t_score，并运用load data命令将HDFS数据导入该表。最后，
2024.2.10 HCIA - Big Data笔记
MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算,存储优势及大数据行业经验,为客户提供高性能,低成本,灵活易用的全栈大数据平台,为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，
flink sql 实战实例 及延伸问题：聚合/数据倾斜/DAU/Hive流批一体 等
核心问题在于成本过高。甚至可以使用 10 分钟级别的分区策略，使用 Flink 的 Hive streaming source 和 Hive streaming sink ，可以大大提高 Hive 数仓的实时性到准实时分钟级，在实时化的同时，也支持针对 Table 全量的 Ad-hoc 查询，提高灵
HIVE核心优化方案
目录1.数据采样2.join优化3.Hive索引4.数据倾斜。
spark3使用hive zstd压缩格式总结
ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squen
hive/sparksql/presto 时区转换和时间类型转换
hive/sparksql/presto 时区转换和时间类型转换
删除和清空Hive外部表数据
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这
Spark On Hive原理和配置
包含Hive、MySQL等安装配置
如何使用Hive或者HadoopMR访问表格存储中的表
更新时间：2023-12-14 09:58本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。
Hive之set参数大全-16
在 Hive 中，是一个参数，用于配置 HiveServer2 的传输模式。该参数定义了 HiveServer2 使用的传输协议，可以是二进制（Binary）或 HTTP。以下是设置其中，是传输模式，可以是binary或http。请注意，这样的设置只对当前 HiveServer2 会话有效，当 Hi
Hive调优-计算资源分配
有些时候，代码运行速度慢、效率低，可能仅仅是因为资源分配不当。
Windows下使用hadoop+hive+sparkSQL
在windows下使用spark-sql的解决办法，包括windows下使用hdfs的解决办法
Hive核心优化
分桶就是分文件, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段, 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分了多少个桶最终翻译的MR也就会运行多少个reduce程序(H
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
Hive-架构与设计
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会
