Hadoop在window下安装实践

理论知识点击查看 Hadoop的入门学习（理论知识）-CSDN博客

一、下载hadoop-3.3.5安装包以及widows工具包

Index of /dist/hadoop/common

将压缩包解压到D盘下的hadoop-3.3.5目录下

下载winutils工具包

https://github.com/steveloughran/winutils

解压后将hadoop-3.3.5中的bin目录中的文件完全替换D:\hadoop-3.3.5\bin

二、jdk安装

Hadoop需要依赖JDK，考虑其路径中不能有空格，故直接安装如下目录

将jdk拷贝到D:\hadoop-3.3.5下（这里是为了hadoop配置使用，不能使用系统安装的jdk原因是因为jdk安装在默认安装在了C:\Program Files下，此处路径有空格，无法使用）

三、配置hadoop环境变量

添加HADOOP_HOME= D:\hadoop-3.3.5

在Path系统环境变量下添加：%HADOOP_HOME%\bin

四、Hadoop配置

1、修改D:\hadoop-3.3.5\etc\hadoop**core-site.xml**配置:

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
    <!-- 指定hadoop数据的存储目录  -->
   <property>
        <name>hadoop.tmp.dir</name>
        <value>D:\hadoop-3.3.5\data</value>
   </property>
</configuration>

修改D:\hadoop-3.3.5\etc\hadoop**mapred-site.xml**配置:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
</configuration>

3、修改D:\hadoop-3.3.5\etc\hadoop** hdfs-site.xml**配置:

<configuration>
     <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>D:\hadoop-3.3.5\data\namenode</value>
   </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>D:\hadoop-3.3.5\data\snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>D:\hadoop-3.3.5\data\snn</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>D:\hadoop-3.3.5\data\datanode</value>
   </property>

    <!-- nn web 端访问地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:9870</value>
    </property>
    <!-- 2nn web端访问地址  -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:9868</value>
    </property>
</configuration>

4、修改D:\hadoop-3.3.5\etc\hadoop** yarn-site.xml**配置:

<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>