0


windows安装hadoop教程,带截图

1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA

提取码:6666

2:解压hadoop资源,我是解压到D盘根目录

​​​​​​​

3:配置系统变量和环境变量

变量名:HADOOP_HOME

变量值:D:\Hadoop\hadoop-2.7.7(根据个人解压目录填写)

环境变量值:

%HADOOP_HOME%\bin

4:测试配置是否成功

打开cmd,输入hadoop,如果出现下图则配置成功

5:将D:\Hadoop\hadoop-2.7.7\bin\hadoop.dll移动到D:\Hadoop\hadoop-2.7.7\sbin以及

C:\Windows\System32

这两个目录下。

6:创建目录
修改之前先创建以下几个空目录:
D:\Hadoop\hadoop-2.7.7\data
D:\Hadoop\hadoop-2.7.7\data\dfs
D:\Hadoop\hadoop-2.7.7\data\dfs\datanode
D:\Hadoop\hadoop-2.7.7\data\dfs\namenode
7:修改配置文件

1)

D:\Hadoop\hadoop-2.7.7\etc\hadoop

下的core-site.xml文件。

打开该文件,找到如下位置。

将<configuration>
</configuration> 改为如下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2)

D:\Hadoop\hadoop-2.7.7\etc\hadoop

下的hdfs-site.xml文件。

注意路径改为压缩后的路径

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.namenode.dir</name>
        <value>/D:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>/D:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
    </property>
</configuration>

3)

D:\Hadoop\hadoop-2.7.7\etc\hadoop

下的mapred-site.xml.template文件。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>hdfs://localhost:9001</value>
    </property>
</configuration>

改完记得将mapred-site.xml.template改名为mapred-site.xml(我的是已经改完名字的)

4)

D:\Hadoop\hadoop-2.7.7\etc\hadoop

下的yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5)

E:\Hadoop\hadoop-2.7.7\etc\hadoop

下的hadoop-env.cmd文件

在文件的最后添加如下语句

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\Java1.8\jdk1.8.0_181

set JAVA_HOME=该机器的jdk环境变量

8:格式化HDFS

9:开启四个进程

管理员身份打开CMD,切换到

D:\Hadoop\hadoop-2.7.7\sbin

目录下,输入命令:

start-all.cmd

如果cd D

:\Hadoop\hadoop-2.7.7\sbin无法切换到sbin 可以使用如下命令 

10:使用jps命令查看启动是否成功

11:测试Hadoop DFS

打开浏览器,在地址栏输入

http://localhost:50070

查看Hadoop状态

​​​​​​​

12:

http://localhost:8088

查看集群状态

13:结束。安装成功

标签: 大数据 windows

本文转载自: https://blog.csdn.net/qq_40919128/article/details/125777002
版权归原作者 天宇_任 所有, 如有侵权,请联系我们删除。

“windows安装hadoop教程,带截图”的评论:

还没有评论