【SparkSQL】SparkSQL的运行流程 & Spark On Hive & 分布式SQL执行引擎
本文重点介绍、SparkSQL的运行流程、 SparkSQL的自动优化、Catalyst优化器、SparkSQL的执行流程、Spark On Hive原理配置、分布式SQL执行引擎概念、代码JDBC连接。
Hadoop学习总结（Hive的安装）
hadoop学习总结——安装hive
Hive 查询优化
set hive.exec.mode.local.auto=true;set mapperd.job.tracker=local;set mapreduce.framework.name=local;set hive.vectorized.execution.enabled=true;
【hive 】时间差（天、小时、分、秒）和常用时间格式转
unix_timestamp()是hive系统时间，格式是timestamp，精确到秒。unix_timestamp(ymdhms)是把时间转换成timestamp格式，是2018-05-23 07:15:50格式。unix_timestamp() - unix_timestamp(ymdhms)是
hive文件存储格式orc和parquet详解
hive orc parquet
Hive之建表的三种方式
执行的结果是table1 的表与table2的表结构是一致的，但是table1表中的数据为空；Hive建表方式统计了常见的三种建表，分别为直接命令行建表，like建表和as建表。将查询的table2表中id=1的结果插入到table1;或者使用as建表，但表结构会与原表不一致，具体往下看；#原理：直
mongodb数据同步到hive
通过 datax 从 mongodb 同步数据到 hive
【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并
【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并
【Sqoop】MySQL表导入Hive
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
hiveSql调优
| 前是map阶段执行，后的reduce阶段执行1、执行 from，进行表的查找与加载，注意要join的表也要加载进来（MapJoin除外）；2、执行 where，sql 语句中 left join 写在 where 之前的，但是实际执行先执行 where 操作，因为 Hive 会对语句进行优化，如
启动hive时去掉没有用的日志信息
log4j.rootLogger：这个是设置日志级别的，当设置成不同的日志级别时，展示的日志输出是不一样的。当日志级别为WARN时，打印的还是不少日志信息。
hive 问题解决 Class path contains multiple SLF4J bindings
hive输入命令时出现日志冲突提示（问题不复杂，是个warn，强迫症解决，做项目经常遇到，项目里是处理maven。这里处理方法思路类似。这里选简单的删除日志冲突包，删除hive目录下的包。一种是屏蔽日志冲突包，一种删除多余包。日志冲突提示已消失。
大数据学习(23)-hive on mapreduce对比hive on spark
需要注意的是，随着 Apache Spark 的普及和发展，Hive on Spark 逐渐成为主流的 Hive 运行环境。许多公司和组织已经将 Spark 作为其默认的计算引擎，并逐渐将 Hive 从 MapReduce 迁移到 Spark 上。Hive on Spark 和 Hive on Ma
【Python大数据笔记_day10_Hive调优及Hadoop进阶】
Hive调优及Hadoop进阶
SQL使用技巧(6)HIVE开窗函数
先想明白自己要实现什么样的功能，然后再去实践。没有目的的尝试段不可取，会难以理解各开窗函数的真正用法。
Hive 的角色和权限控制
的权限模型中，用户可以拥有多个角色，一个角色可以包含多个用户。管理员可以根据需要创建和管理角色，并为这些角色分配相应的权限。中的角色控制是通过角色的概念来实现的，角色可以理解为一组用户的集合，可以对这个集合中的用户进行权限的管理。用户可以根据自己的需求创建和管理角色，并为这些角色分配相应的权限。中的
Hive 的安装与配置
hive的详细安装与配置
Kafka实时数据即席查询应用与实践
在实际应用中，Kafka实时数据即席查询可以用于多种场景，如实时监控、实时报警、实时统计、实时分析等。数据质量：Kafka实时数据即席查询需要保证数据质量，避免数据重复、丢失或错误等问题，需要进行数据质量监控和调优。系统复杂性：Kafka实时数据即席查询需要涉及到多个系统和组件，包括Kafka、数据
Hive自定义UDF函数及使用
UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。
阿里云大数据实战记录10：Hive 兼容模式的坑
解决 MaxCompute 不支持这个语法`DATE_FORMAT(string, string)`的方法本文提供了两种：方法1：开启 Hive 兼容模式方法2：显性修改传入`FROM_UNIXTIME(1672538400)`返回的数据类型另外，传递给`DATE_FORMAT()`的参数如果是 D
