Hive之set参数大全-16
在 Hive 中，是一个参数，用于配置 HiveServer2 的传输模式。该参数定义了 HiveServer2 使用的传输协议，可以是二进制（Binary）或 HTTP。以下是设置其中，是传输模式，可以是binary或http。请注意，这样的设置只对当前 HiveServer2 会话有效，当 Hi
Hive调优-计算资源分配
有些时候，代码运行速度慢、效率低，可能仅仅是因为资源分配不当。
DataX3.0+DataX-Web部署分布式可视化ETL系统
DataX 是阿里云 DataWorks 数据集成的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。
Hive核心优化
分桶就是分文件, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段, 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分了多少个桶最终翻译的MR也就会运行多少个reduce程序(H
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
我的大数据之路 - 生产变更方案的注意事项
我的大数据之路 - 生产变更方案的注意事项
数据仓库与Tableau的集成与优化
1.背景介绍数据仓库与Tableau的集成与优化1. 背景介绍数据仓库和Tableau是现代数据分析领域中两个核心概念。数据仓库是一种用于存储和管理大量数据的系统，而Tableau是一种数据可视化和分析工具。在现代企业中，数据仓库和Tableau之间的集成和优化已经成为关键的技术要求。本文将深入探讨
HiveSQL——用户行为路径分析
HiveSQL——用户行为路径分析
Hive之set参数大全-15
在 Hive 中，是一个参数，用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。以下是设置其中，是布尔值，用于启用或禁用 Tez 会话使用自定义队列。请注意，这样的设置只对当前 HiveServer2 会话有效，当
软考笔记--数据仓库技术
为了更好地管理非结构化数据，数据仓库采用了元数据，元数据可用于记录数据的文件标识符，进入数据仓库的日期，文件描述，文件来源等信息。企业仓库面向企业级应用，它搜集了企业的各个主题的所有信息，提供企业范围的数据集成，数据通常来自多个操作型数据库和外部信息提供者，并且是快多个功能范围的。数据集市面向企业部
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)
(10)Hive的相关概念——文件格式和数据压缩
Hive的相关概念——文件格式和数据压缩
数据仓库与多源数据集成的技术与实践
1.背景介绍数据仓库与多源数据集成是数据科学领域的核心技术，它们为数据分析、报表和业务智能提供了基础设施。在本文中，我们将深入探讨数据仓库与多源数据集成的技术和实践，揭示其核心概念、算法原理、最佳实践和实际应用场景。1. 背景介绍数据仓库是一个用于存储、管理和分析大量历史数据的系统，它通常用于支持企
(01)Hive的相关概念——架构、数据存储、读写文件机制
Hive的相关概念——架构、数据存储、读写文件机制
(05) Hive的相关概念——函数介绍
HiveSQL的基础知识点
Hive的几种排序方式、区别，使用场景
ORDER BY：全局排序，但性能较差，适用于小数据集。SORT BY：在每个 Reducer 内部排序，性能较好，但不保证全局排序。：控制如何分发数据到 Reducer。CLUSTER BY和SORT BY的组合，当两者字段相同时使用。
公有云中的数据仓库和大数据处理
1.背景介绍随着互联网和数字化的发展，数据量不断增加，数据处理和分析成为企业和组织的关键能力。数据仓库和大数据处理技术在这个背景下崛起，成为关键技术之一。公有云在这个过程中也发挥着重要作用，为数据仓库和大数据处理提供了便捷的计算和存储资源。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法
ETL详解--数据仓库技术
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。它是一种数据处理过程，用于从不同的数据源中提取数据、对数据进行转换和清洗，并将处理后的数据加载到目标系统
