Hive核心优化
分桶就是分文件, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段, 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分了多少个桶最终翻译的MR也就会运行多少个reduce程序(H
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
我的大数据之路 - 生产变更方案的注意事项
我的大数据之路 - 生产变更方案的注意事项
数据仓库与Tableau的集成与优化
1.背景介绍数据仓库与Tableau的集成与优化1. 背景介绍数据仓库和Tableau是现代数据分析领域中两个核心概念。数据仓库是一种用于存储和管理大量数据的系统，而Tableau是一种数据可视化和分析工具。在现代企业中，数据仓库和Tableau之间的集成和优化已经成为关键的技术要求。本文将深入探讨
HiveSQL——用户行为路径分析
HiveSQL——用户行为路径分析
Hive之set参数大全-15
在 Hive 中，是一个参数，用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。以下是设置其中，是布尔值，用于启用或禁用 Tez 会话使用自定义队列。请注意，这样的设置只对当前 HiveServer2 会话有效，当
软考笔记--数据仓库技术
为了更好地管理非结构化数据，数据仓库采用了元数据，元数据可用于记录数据的文件标识符，进入数据仓库的日期，文件描述，文件来源等信息。企业仓库面向企业级应用，它搜集了企业的各个主题的所有信息，提供企业范围的数据集成，数据通常来自多个操作型数据库和外部信息提供者，并且是快多个功能范围的。数据集市面向企业部
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)
(10)Hive的相关概念——文件格式和数据压缩
Hive的相关概念——文件格式和数据压缩
数据仓库与多源数据集成的技术与实践
1.背景介绍数据仓库与多源数据集成是数据科学领域的核心技术，它们为数据分析、报表和业务智能提供了基础设施。在本文中，我们将深入探讨数据仓库与多源数据集成的技术和实践，揭示其核心概念、算法原理、最佳实践和实际应用场景。1. 背景介绍数据仓库是一个用于存储、管理和分析大量历史数据的系统，它通常用于支持企
(01)Hive的相关概念——架构、数据存储、读写文件机制
Hive的相关概念——架构、数据存储、读写文件机制
(05) Hive的相关概念——函数介绍
HiveSQL的基础知识点
Hive的几种排序方式、区别，使用场景
ORDER BY：全局排序，但性能较差，适用于小数据集。SORT BY：在每个 Reducer 内部排序，性能较好，但不保证全局排序。：控制如何分发数据到 Reducer。CLUSTER BY和SORT BY的组合，当两者字段相同时使用。
公有云中的数据仓库和大数据处理
1.背景介绍随着互联网和数字化的发展，数据量不断增加，数据处理和分析成为企业和组织的关键能力。数据仓库和大数据处理技术在这个背景下崛起，成为关键技术之一。公有云在这个过程中也发挥着重要作用，为数据仓库和大数据处理提供了便捷的计算和存储资源。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法
ETL详解--数据仓库技术
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。它是一种数据处理过程，用于从不同的数据源中提取数据、对数据进行转换和清洗，并将处理后的数据加载到目标系统
Hive之set参数大全-22(完)
在 Hive 中，是一个配置参数，用于指定是否启用矢量化处理复杂数据类型。该参数用于控制是否启用 Hive 的矢量化执行引擎对复杂数据类型（例如结构体、数组、映射等）进行矢量化处理。矢量化执行是一种通过同时处理多个数据元素来提高查询性能的技术。默认情况下，的值通常是未设置的，由 Hive 使用其默认
hive中array相关函数总结
sort_array 函数可以用于对 Array 对象中的元素进行排序。具体来说，sort_array 函数会将 Array 对象中的元素按照升序顺序进行排序，并返回一个新的排序后的 Array 对象。explode 函数可以用于将一个 Array 对象拆分成多行。具体来说，explode 函数会将
(13)Hive调优——动态分区导致的小文件问题
Hive——动态分区导致的小文件问题
