Hive核心优化
分桶就是分文件, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段, 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分了多少个桶最终翻译的MR也就会运行多少个reduce程序(H
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Hadoop-MapReduce-源码跟读-ReduceTask阶段篇
1、初始化：比如构建作业和尝试任务的上下文、更新任务状态，构建输出提交器等2、Shuffle：根据本地模式和集群模式生成不同的线程（Fetcher）组来收集map端的输出3、Sort：对Shuffle的结果进行排序合并4、SecondarySort：对相同key的value进行二次排序5、构建自定义
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
分布式数据处理：Hadoop与Spark
1.背景介绍分布式数据处理：Hadoop与Spark1. 背景介绍随着数据的增长，传统的单机数据处理方法已经无法满足需求。分布式数据处理技术成为了一种必须的解决方案。Hadoop和Spark是两种非常流行的分布式数据处理技术，它们各自具有不同的优势和特点。本文将详细介绍Hadoop和Spark的核心
Hive-架构与设计
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会
Hadoop 环境搭建
1各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN。
大数据——hadoop环境安装（docker搭建）
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使
大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想
本文主要介绍了MR的工作原理
Hadoop：HDFS学习巩固——基础习题及编程实战
4.分布式文件系统HDFS采用了主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫（）？A.把文件名发送给名称节点，根据文件名在名称节点上找到数据块的实际存储信息，客户端再到数据节点上获取数据。9.数据节点负责数据的存储和读取,每个数据节点中的数据会被保存在()。C 存
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)
Sqoop与Kafka的集成：实时数据导入
SqoopSqoop是一个开源工具，用于在Hadoop生态系统中传输数据和关系型数据库之间进行数据导入和导出。它使数据工程师能够轻松将结构化数据从关系型数据库导入到Hadoop集群中，以供进一步的数据处理和分析。Kafka是一个分布式流处理平台，用于构建实时数据流应用程序和数据管道。Kafka提供了
1.1完全分布式Hadoop署集群
随着大数据的迅速增长，Hadoop已成为处理大规模数据的首选工具。搭建一个完整的Hadoop分布式集群需要仔细规划和配置。本文将为你提供搭建Hadoop完全分布式集群的简要指南。在配置过程中，设置SSH无密码登录以简化集群管理。此外，根据实际需求配置网络参数和安全特性，如用户验证和访问控制。启动集群
hadoop
当需要运行在全分布式下，请根据。文档最后添加以下内容，注意不要写到。文档最后添加以下内容，注意不要写到。运行在伪分布式模式，同时。在文档开头添加以下代码。启动完成的情况下启动。
Hadoop3.x基础（2）- HDFS
1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（Hadoop Distribute
Hive SQL 的 DQL操作
3. Hive 支持分桶查询, cluster by + 分桶排序字段 (分桶排序必须是同一字段,且排序只能是升序),如果只分桶用 distribute by + 分桶字段 ,如果分桶和排序不是同一字段就用 distribute by + 分桶字段 sort by + 排序字段 asc | desc
（三）hadoop之hive的搭建1
5.1上传mysql驱动mysql-connector-java-8.0.21.jar并移动到/usr/local/apache-hive-3.1.3/lib/5.2在/usr/local/apache-hive-3.1.3/conf下新增hive-site.xml文件。点击https://dlcd
Sqoop数据导入到Hive表的最佳实践
Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地将结构化数据从关系型数据库导入到Hadoop集群中，以供进一步的数据处理和分析。将数据从关系型数据库导入到Hive表是大数据分析中的关键步骤之一。本文提供了Sq
2024-01-30（Hadoop_HDFS）
狭义（技术思维）：使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。广义：大数据是数字化时代，信息化时代的基础（技术）支撑，以数据为生活赋能。大数据的核心工作：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。（海量数据存储、海量数据传输、海量数据计算）NFS就是Network
