Hive - overfit.cn

Hive--清除/删除Hive表数据

大数据技术指的是用于处理、分析和管理大规模数据集的技术和工具。随着互联网和物联网的普及，数据量不断增大，对数据的处理和分析需求也日益增加，大数据技术应运而生

overfit同步小助手 2023-08-03 10:04:32 0 收藏

Hive（23）：Select高级查询之SORT/ORDER/CLUSTER/DISTRIBUTE BY

order by会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reduce

overfit同步小助手 2023-08-03 07:03:45 0 收藏

HIVE创建分区表

partitioned by ( c2 string ) # 创建分区 c1跟c2都是字段，但是创建的时候不能写在t2里面，只能写在分区里面（同时select查询的时候，c2的字段也要写在最后面）注意：当你退出过hive后，再次进入hive，不要忘记使用了哪个database，我这里使用的是te

overfit同步小助手 2023-08-02 23:04:15 0 收藏

Hive Code2报错排查

大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。

overfit同步小助手 2023-08-01 23:04:25 0 收藏

Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问

技术连载系列，前面内容请参考前面连载9内容:Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的

overfit同步小助手 2023-08-01 15:08:28 0 收藏

关于Java连接Hive，Spark等服务的Kerberos工具类封装

overfit同步小助手 2023-08-01 14:05:12 0 收藏

hive on spark 时，executor和driver的内存设置，yarn的资源设置

hive on spark 时，executor和driver的内存设置，yarn的资源设置。

overfit同步小助手 2023-08-01 12:04:52 0 收藏

构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置

安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行

overfit同步小助手 2023-08-01 10:04:11 0 收藏

hive基于新浪微博的日志数据分析——项目及源码

本系统旨在对新浪微博日志进行大数据分析，探究用户行为、内容传播、移动设备等多个方面的特征和趋势，为企业和个人的营销策略、产品设计、用户服务等提供有益的参考和支持。系统基于Hive平台，能够对大规模的微博数据进行处理和分析，输出有关用户量、微博转发量、用户发布微博数量、带图片微博数据等多个方面的统计信

overfit同步小助手 2023-07-31 23:04:04 0 收藏

hive之with as 和 create temporary区别

在写hivesql语句时，通常因为实现一个比较复杂的逻辑时。

overfit同步小助手 2023-07-31 22:04:33 0 收藏

Hive中的HASH函数规则及示例

Hive中的哈希函数采用的是MurmurHash算法，这是一种非常高效的哈希算法。该算法将输入数据分为若干个块，每个块都进行哈希计算，最终将所有块的哈希值合并起来得到最终的哈希值。在执行上述查询语句时，Hive会自动调用HASH函数对每个姓名进行哈希计算，并将具有相同哈希值的姓名放入同一个分组中，最

overfit同步小助手 2023-07-31 11:04:08 0 收藏

大数据技术之Spark——Spark SQL

我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapreduce：hive提供了一个框架，将SQL转换成ma

overfit同步小助手 2023-07-31 04:03:56 0 收藏