Spark On Hive原理和配置
包含Hive、MySQL等安装配置
如何使用Hive或者HadoopMR访问表格存储中的表
更新时间：2023-12-14 09:58本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。
Hive之set参数大全-16
在 Hive 中，是一个参数，用于配置 HiveServer2 的传输模式。该参数定义了 HiveServer2 使用的传输协议，可以是二进制（Binary）或 HTTP。以下是设置其中，是传输模式，可以是binary或http。请注意，这样的设置只对当前 HiveServer2 会话有效，当 Hi
Hive调优-计算资源分配
有些时候，代码运行速度慢、效率低，可能仅仅是因为资源分配不当。
Windows下使用hadoop+hive+sparkSQL
在windows下使用spark-sql的解决办法，包括windows下使用hdfs的解决办法
Hive核心优化
分桶就是分文件, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段, 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分了多少个桶最终翻译的MR也就会运行多少个reduce程序(H
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
Hive-架构与设计
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会
(02)Hive SQL编译成MapReduce任务的过程
Hive SQL编译成MapReduce的过程
Hive Sql 大全(hive函数，hive表)
本节基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类： 一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表，分区表和分桶表二、DQL语句（数据查询语句）：单表查询、关联查询hive函数：包含聚合函数，条件函数，日期
Hive执行计划
先看第一部分 stage dependencies ，包含两个 stage，Stage-1 是根stage，说明这是开始的stage，Stage-0 依赖 Stage-1，Stage-1执行完成后执行Stage-0。以上仅列举了4个我们生产中既熟悉又有点迷糊的例子，explain 还有很多其他的用途
（五）springboot 配置多数据源连接mysql和hive
项目结构如下mysql 执行如下建表语句，并插入一条测试数据12345CREATETABLEDEFAULTPRIMARYKEY使用hive客户端执行如下建表语句，并插入一条测试数据1createtable。
FlinkSQL对接MySQL CDC写入数据到Hive
对使用flink将mysql数据变化数据实时写入Hive的过程进行记录。包括mysql开启binlog，使用flinkcdc实时同步到kafka，并再使用flink将数据kafka中的数据流式写入Hive
Hive之set参数大全-15
在 Hive 中，是一个参数，用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。以下是设置其中，是布尔值，用于启用或禁用 Tez 会话使用自定义队列。请注意，这样的设置只对当前 HiveServer2 会话有效，当
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~
Hive3.1.3基础
1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hive。例如：需求，统计单词出现个数。（1）在Hadoop中用M
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
将Sqoop与Hive集成无缝的数据分析
将Sqoop与Hive集成是在大数据环境中实现无缝数据分析的关键一步。Sqoop可以轻松地将关系型数据库中的数据导入到Hive中，以便进行高级数据分析和查询。希望本文提供的示例代码和详细内容有助于大家更好地理解和应用Sqoop与Hive的集成技术。
Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)
