Hive企业级调优[1]——计算资源配置
MapReduce 资源配置主要包括 Map Task 的内存和 CPU 核数，以及 Reduce Task 的内存和 CPU 核数。本教程的计算环境为 Hive on MR。计算资源的调整主要包括 YARN 和 MapReduce。
解决HADOOP_HOME and hadoop.home.dir are unset.异常问题
我在Windows环境下 运行MapReduce程序时遇到这个异常，其原因是windows下的环境与Linux环境不同，而Hadoop一般基于Linux系统运行，因此需要一系列辅助程序才能运行。下载对应版本号的文件（找不到对应版本建议找最近版本），解压到任意目录下。
Hadoop的HA模式搭建
准备三台虚拟机1.修改虚拟机的IP地址和hostname2.配置集群中的ip映射（/etc/hosts）3.关闭虚拟机的防火墙4.集群间实现免密登录每台虚拟机都执行类似操作。
Hadoop-MapReduce的 原理 | 块和片 | Shuffle 过程 | Combiner
AppMaster: 整个Job任务的核心协调工具MapTask: 主要用于Map任务的执行ReduceTask: 主要用于Reduce任务的执行一个任务提交Job --> AppMaster(项目经理)--> 根据切片的数量统计出需要多少个MapTask任务 --> 向ResourceManage
Hadoop本地运行模式环境搭建
学校Hadoop实验课，课前已经配置好了，最后需要提交实验报告，只能重新配置一遍。
保姆级教程教你如何安装Hadoop，实现Hadoop单机（非分布式）配置
前往阿里镜像站选择下载下载时间较久，请耐心等待。
Hadoop大数据集群搭建
广东东软学院学子，云计算实验一，Hadoop集群搭建，需要的可以参考，或者私聊我解决问题，希望可以帮到大家
ubuntu中hadoop完全分布式部署【三台主机】
链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部
Linux基础环境搭建（CentOS7）- 虚拟机准备_搭建hadoop能使用桥接模式吗
FTP服务器，文件及存储服务器，图形生成工具，硬件监控工具，身份管理服务器，KDE，大系统性能，传统 X Windows 系统的兼容性，MariaDB数据库服务器，PHP 支持，Python，虚拟化 Hypervisor，安全性工具，智能卡支持，系统管理工具。编辑ifcfg-ens33文件，修改BO
熟悉常用的Hadoop操作：Hadoop选做题
您已经使用了带有-f选项的hadoop fs -get命令来强制从HDFS的/user/hadoop/test/目录下载.bashrc文件到本地的/usr/local/hadoop/test_download/目录，并覆盖了原有文件（如果存在）。在打开的config文件中，您可以根据需要添加配置。例
PySpark单机模式（local）的环境搭建
本文介绍如何在Windows操作系统（以win11为例）上配置一个可以运行PySpark程序的开发环境
Hive原理剖析
Apache Hive是一个基于Hadoop的开源数据仓库软件，为分析和管理大量数据集提供了SQL-like的接口。最初由Facebook开发并贡献给Apache，Hive现已成为大数据处理领域的重要工具之一。它将传统的SQL功能与Hadoop的强大分布式处理能力结合，使用户可以通过熟悉的SQL语法
WPF—LiveCharts图表
LiveCharts是一个简单灵活、交互式以及功能强大的跨平台图表库，支持wpf、winform...应用程序。
【Hadoop|HDFS篇】HDFS的Shell操作
40， 12， 52表示的都是文件大小，120表示的是40*3个副本，/sanguo表示查看的目录。（3）-chgrp，-chmod，-chown：与Linux系统中的用法一致，修改文件的权限。（2）-copyFromLocal：从本地文件系统拷贝文件到HDFS中。（4）-appendToFile：
Hadoop重新格式化HDFS的方案
重新格式化HDFS是清除Hadoop集群中所有数据的过程。在执行这个操作之前，务必备份重要的数据。通过按照上述步骤停止服务、备份数据、格式化NameNode，并在确认一切正常后启动服务，我们可以重新格式化HDFS并开始一个全新的Hadoop数据存储环境。
Hive的集群的搭建-内嵌模式-本地模式-远程链接
Hive 是一个框架，可以通过编写sql的方式，自动的编译为MR任务的一个工具Hive是一个数据仓库工，可以将数据加载到表中，编写sql进行分析，底层依赖Hadoop，所以每一次都需要启动hadoop(hdfs以及yarn)，Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ，Hive
hadoop搭建，jps没有datanode节点解决办法（实用简化版）
办法2.删除master节点 usr/local/hadoop/dfs目录下的data和name目录，然后创建新的data,name。（若仍报错，请检查usr/local/hadoop/etc/hadoop目录下配置文件，确保文件路径正确，都可以打开）本人情况：Hadoop分布式搭建，有主节点mas
伪分布hadoop集群+hive的搭建
文件下载（夸克）hadoop链接：https://pan.quark.cn/s/4a54107a89ff提取码：DRHrjdk链接：https://pan.quark.cn/s/74e3f3c97a98提取码：kq1fhive链接：https://pan.quark.cn/s/0a0d442ceea
【大数据】深入了解Hadoop
hdfs的元数据两个部分内存上的元数据在服务运行期间,所有的元数据会先存储在内存上文件信息,datanode信息,块信息元数据文件为了避免内存上的元数据丢失,会将内存的上的元数据保存在磁盘上secondarynamenode完成元数据文件的保存存储位置在hadoop的指定数据edits_xxxxx
Hive/Spark小文件解决方案(企业级实战)–参数和SQL优化
Spark读取Hive数据或文件如何提升速度的优化思路
