Windows10配置Hadoop

# 资源下载

《hadoop-3.1.3.tar.gz》

百度网盘链接：https://pan.baidu.com/s/1umVgYdZ8KWMikjyHtZ2rCA（提取码：0000）

《apache-hadoop-3.1.0-winutils-master.zip》

百度网盘链接：https://pan.baidu.com/s/1nSCIFezi4owoHXx29J9Qcw（提取码：0000）

---

# 配置 Hadoop

< Step 1 > 解压缩已下载的hadoop压缩包

解压缩 “hadoop-3.1.3.tar.gz” 至 D:\（此时 D:\ 会存在一个文件夹 “hadoop-3.1.3” ）

< Step 2 > 配置hadoop环境变量

① 进入 设置 -> 系统 -> 关于 -> 高级系统设置 -> 高级 -> 环境变量 -> 系统变量

② 在 “系统变量” 中点击 “新建” ，变量名为 “HADOOP_HOME" ，变量值为 “D:\hadoop-3.1.3” ，点击 “确定”

③ 在 “系统变量” 中双击 “Path” ，在弹出的 “编辑环境变量” 窗口点击 “新建” ，路径为 “D:\hadoop-3.1.3\bin” ，点击 “确定”

④ 按组合键 “Win+R” ，输入 “cmd” 后按下 “Enter” ，在弹出的窗口输入 “hadoop version” ，出现下图内容则为配置环境成功

< Step 3 > 配置 data 和 temp 文件夹

① 进入 “D:\hadoop-3.1.3”

② 新建 “data” 文件夹

③ 新建 “temp” 文件夹

④ 进入 data 文件夹，新建 “datanode” 文件夹 和 “namenode” 文件夹

< Step 4 > 配置 4 个 xml 文件

① 进入 “D:\hadoop-3.1.3\etc\hadoop”

（以下简称为 “编辑” ，编辑方式为 右键 -> 编辑 或 右键 -> 打开方式 -> 记事本）

**② 编辑 “core-site.xml” **

将文件末尾的

<configuration> </configuration>

修改为

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

③ 编辑 “hdfs-site.xml”

将文件末尾的

<configuration> </configuration>

修改为（此处的 “D:/hadoop-3.1.3/data/namenode” 可根据自己的情况修改）

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-3.1.3/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-3.1.3/data/datanode</value> </property> </configuration>

④ 编辑 “mapred-site.xml”

将文件末尾的

<configuration> </configuration>

修改为

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

⑤ 编辑 “yarn-site,xml”

将文件末尾的

<configuration>

    <!-- Site specific YARN configuration properties -->

</configuration>

修改为

<configuration>

<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>1024</value>
 </property>
 <property>
     <name>yarn.nodemanager.resource.cpu-vcores</name>
     <value>1</value>
 </property>

</configuration>

< Step 5 > 格式化 namenode 节点

① 按组合键 “Win+R” ，输入 “cmd” 后按下 “Enter” ，在弹出的窗口输入 “hdfs namenode -format” 对namenode节点进行格式化

< Step 6 > winutils 的覆盖

① 将 “apache-hadoop-3.1.0-winutils-master.zip” 内的 “bin” 目录解压缩到 “D:\hadoop-3.1.3” 目录下替换掉原来的 “bin” 目录

② 进入 “D:\hadoop-3.1.3\share\hadoop\yarn\timelineservice”

③ 复制 “hadoop-yarn-server-timelineservice-3.1.3.jar”

④ 粘贴至 “D:\hadoop-3.1.3\share\hadoop\yarn”

< Step 7 > 启动hadoop

① 进入 “D:\hadoop\hadoop-3.1.3\sbin” ，双击运行start-all.cmd

② 在浏览器进入网址 “http://localhost:9870/”

③ 在浏览器进入网址 “http://localhost:8088/”