Spark内容分享(二十六)：Hive SQL 迁移 Spark SQL 在网易传媒的实践
回顾整个方案的设计过程，实际上没有太多选择的余地，在没法在spark引擎层做兼容的前提，和以脚本提交任务的现状下，只能选择基于git版本管理的自动化迁移流程。方案能这么顺利实施，主要因为任务代码是以脚本的形式存在，这样我们可以很方便的用各种程序处理脚本源代码，避免了大量重复性的工作，特别是用git进
Hive01_安装部署
上传mysql jdbc驱动到hive安装包lib下。在hdfs创建hive存储目录（如存在则不用操作）解决Hive与Hadoop之间guava版本差异。
【湖仓一体尝试】MYSQL和HIVE数据联合查询
爬了两天大大小小的一堆坑，今天把一个简单的单机环境的流程走通了，记录一笔
HIVE笔记
返回两个表中满足关联条件的记录。
虚拟机安装单机hive以及简单使用hive
hive是我打算了解的有一个大数据方面的一个技术栈，上一篇介绍了Hadoop和hbase，有兴趣的朋友可以点击“文章”浏览，今天要介绍的hive也是要基于hadoop的，安装hive也要提前安装好hadoop。刚了解这块的朋友肯定就会疑问这三者之间的关系是什么呢，从我这段时间对它们的简单了解，我的理
Hive DDL语法
Hive的语法和MySQL大部分都相同。
最全HSQL命令大全(Hive命令)
最全HSQL命令中文解释，值得收藏
Hive实战：词频统计
在本次实战中，我们任务是在大数据环境下使用Hive进行词频统计。首先，我们在master虚拟机上创建了一个名为test.txt的文本文件，内容包含一些关键词的句子。接着，我们将该文本文件上传到HDFS的目录，作为数据源。随后，我们启动了服务和Hive客户端，为数据处理做准备。在Hive客户端中，我们
hive简介和安装
hive是基于hadoop的数据仓库工具。hive提供了一种使用sql语句来读、写、管理基于分布式系统的大型数据的功能。将hdfs上的结构化数据文件映射为一张表，并提供类似sql语句进行查询统计功能。本质就是将sql语句转化为模板化了的MapReduce程序，处理计算还是hdfs中的mapreduc
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
hive插入动态分区数据时，return code 2报错解决
如果上面语句没有解决，可以看下yarm配置，考虑是否是语句占用内存超过配置最大内存等等。大概率是因为没有开启允许动态分区或单次动态分区个数太小了。
Hive04_DDL操作
因此，使用内部表时，Hive会自动管理表的数据和元数据，而使用外部表时，则需要人工管理表的数据文件，但是可以让多个 Hive 实例共享同一个数据文件。通常情况下，如果数据只会被 Hive 使用，建议使用内部表，而如果数据需要被其他程序或服务使用，建议使用外部表。
Hadoop、Hive安装
hadoop hive安装
Python操作Hive数据仓库
sasl模块是Python中用于实现SASL（Simple Authentication and Security Layer）认证的第三方库，提供了对各种SASL机制的支持，例如与Kafka、Hadoop等进行安全通信。Thrift是一个轻量级、跨语言的RPC框架，主要用于服务间的RPC通信。由于
HIVE窗口函数
开窗函数笔记
用户行为分析遇到的问题-ubantu16,hadoop3.1.3
ubantu16，hadoop3.1.3做用户行为分析时候遇到的问题
查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下, 查看一个HDFS目录占用了多少磁盘空间
解决hive建表中文乱码问题
当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。参数，来指定字符集编码为 UTF-8。参数，来指定字符集编码为 UTF-8。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，
hive怎么更新数据
使用INSERT OVERWRITE语句时，首先需要创建一个临时表，将需要更新的数据插入到临时表中，然后使用INSERT OVERWRITE将临时表的数据覆盖到原始表中。使用哪种方法取决于你的需求和数据更新的逻辑。请注意，在Hive中不能直接更新单个记录，而是通过覆盖或插入来更新整个表或部分数据。要
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持
