hive/spark数据倾斜解决方案
数据倾斜主要表现在，mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多)，这条Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
使用了spark对MySQL的数据进行操作并保存到了hive数据库，原理大同小异，spark提供了许多api供我们使用，非常的方便和灵活。本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理-数据抽取题目：编写Scala代码，使用Spark将MySQL的shtd_industry库中表Env
HiveSQL刷题
现有各直播间的用户访问记录表（live_events）如下，表中每行数据表达的信息为，一个用户何时进入了一个直播间，又在何时离开了该直播间。
【大数据之Hive】四、配置Hive元数据存储到MySQL
需求：把Hive元数据写道MySQL的metastore数据库中（MySQL默认没有metastore数据库，需要提前创建：create database metastore;连接地址：jdbc:mysql//hadoop102:3306/metastore驱动：com.mysql.cj.jdbc.
Hive的更新和删除
更新数据： Hive中的更新操作实际上是替换记录的过程。删除数据： 在Hive中，您可以使用DELETE语句删除表中的数据。但是，与传统的关系型数据库不同，Hive实际上并不删除数据，而是将其标记为已删除。但是，这些操作的执行方式与传统的关系型数据库不同，因为Hive使用Hadoop的MapRedu
华为云云耀云服务器L实例评测｜在Docker环境下部署Hive数据库
这是Maynor华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop云耀云服务器L实例是新一代的轻量应用云服务器
Hive中hash函数及md5函数
该算法将输入数据分为若干个块，每个块都进行哈希计算，最终将所有块的哈希值合并起来得到最终的哈希值。参数2： 224, 256, 384, 512, 或 0（=256）中的一个，表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性，相同的输入数据每次计算得到的哈
Hive导入csv文件示例
关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerdecsv要保存到hive的parquet,需要先保存成textfile。
Hive 分区表新增字段 cascade
Hive 分区表新增字段 cascade
大数据平台搭建之hive本地模式安装
hive的基本介绍，hive的架构，hive的本地模式搭建
hive 架构及 metastore 功能简单介绍
hive 内部执行过程以及 Metastore 的作用。
访问 Hive 的元数据存储（MetaStore）的API方式
访问 Hive 的元数据存储（MetaStore）是通过 Hive 的 Thrift API 来实现的。导入 thrift 和 Hive Metastore 的相应模块，创建一个 Thrift 的 transport 对象和一个 Hive Metastore 的 client 对象，并连接到 Hiv
大数据学习之HiveSQL
HiveSQL
hive表的全关联full join用法
把两个表的结果拼在一行了，匹配不上的都用NULL值进行填充了，显然不是我要的结果。查询完显示如下，nice，😄。test_b表的数据如下；test_a表的数据如下。
【Hive】HQL Map 『CRUD | 相关函数』
1. Map 增删改查1.1 声明 Map 数据类型1.2 增1.3 删1.4 改1.5 查2. Map 相关函数2.1 单个Map3. Map 与 String3.1 Map 转 string3.2 string 转 Map
hive中collect_list函数
collect_list聚合函数，
hive报错信息不明确的情况汇总
return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table uniaction1 with loadPath
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
通过 docker-compose 快速部署 Hive 详细教程
其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方便小伙伴学
权限管理-Ranger的介绍和使用(集成Hive)
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生！Ranger的官网：ht
