Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）

文章目录

1、查看是否安装好了Java开发环境

在cmd中输入

java -version

在这里插入图片描述
若能成功显示java jdk的版本号则代表java环境已安装成功（注意要配置好JAVA_HOME，后面步骤中会用到）

若还未安装或配置Java JDK，可以参考以下链接进行安装：Java JDK安装和配置

2、下载安装Hadoop所需要的文件

Hadoop3.1.0版本的安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop- 3.1.0.tar.gz
Windows环境安装所需的bin：https://github.com/s911415/apache-hadoop-3.1.0-winutils

3、解压已下载的文件

我的hadoop-3.1.0解压后文件夹的路径为D:\hadoop-3.1.0
在这里插入图片描述

4、替换原安装包的bin文件夹

在这里插入图片描述
可以发现apache-hadoop-3.1.0-winutils-master这个文件夹解压后里面只有bin这一个文件夹，我们将这个bin文件夹复制到hadoop-3.1.0文件夹中替换原有的bin文件夹

5、配置Hadoop环境变量

在这里插入图片描述

在新建系统变量中：变量名填

HADOOP_HOME

，变量值填hadoop-3.1.0对应的路径（比如我的是D:\hadoop-3.1.0）
在这里插入图片描述
顺便可以检查一下JAVA_HOME有没有配置好，后面会用到
然后点击Path变量进行编辑，在最前面加上

%HADOOP_HOME%\bin;

（记得加分号和别的隔开），配置完后如图所示：
在这里插入图片描述

6、检查环境变量是否配置成功

配置好环境变量后，win+R 输入cmd打开命令提示符，然后输入

hadoop version

，按回车，如果出现如图所示版本号，则说明安装成功
在这里插入图片描述

7、配置hadoop的配置文件

进入到\hadoop-3.1.0\etc\hadoop文件夹
在这里插入图片描述

1. 配置core-site.xml文件

在这里插入图片描述
以记事本或其他文本编辑器打开:

找到文档最后的""标签
填入以下内容：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:900</value></property></configuration>

注意：最后只有一个configuration标签！可以先去掉原来的configuration标签将以上内容复制粘贴到文档最后；或者将以上内容中configuration标签内的内容复制粘贴到原本文档中的configuration标签中！（最后文档内只能有一个configuration标签，以下几个配置文件也是如此）

在这里插入图片描述

2. 配置mapred-site.xml

在这里插入图片描述
同样也是在文档末尾添加以下内容：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

如图所示：

在这里插入图片描述

3. 配置yarn-site.xml

在这里插入图片描述
文档末尾添加以下内容：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

在这里插入图片描述

4. 新建namenode文件夹和datanode文件夹

在D:\hadoop-3.1.0创建data2020文件夹（这个也可以是别的名字，但后面配置要对应修改）
在data2020文件夹中（D:\hadoop-3.1.0\data2020）创建datanode和namenode文件夹

5. 配置hdfs-site.xml

在这里插入图片描述
在文档底部配置如下内容：

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>D:\hadoop-3.1.0\data2020\namenode</value></property><property><name>dfs.datanode.data.dir</name><value>D:\hadoop-3.1.0\data2020\datanode</value></property></configuration>