安装Hadoop
介绍:Hadoop是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
https://blog.csdn.net/tototuzuoquan/article/details/79954234 (安装教程)
第一步:前期需要准备的材料:
① Hadoop-3.0.0下载
从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0,下载二进制压缩包文件:hadoop-3.0.0.tar.gz
(https://blog.csdn.net/mr_yuntuo/article/details/90728174)
② 下载hadoop在windows环境下支持包hadoopwindows-master.
https://github.com/sardetushar/hadooponwindows
③ 下载hadoop的hadoop.dll和winutils.exe
https://github.com/4ttty/winutils
第二步:安装包及环境变量配置
①解压hadoop-3.0.0安装包到本地路径
②将hadoop.dll和winutils.exe两个文件放入到/hadoop-3.0.0/bin目录下
③配置hadoop环境变量:
⑤ 添加path属性,将;%HADOOP_HOME%in;添加到path环境变量中
⑥ 验证hadoop环境,在windows控制台输入: hadoop version
出错:
解决:系统变量里查看JAVA_HOME,发现路径是C:Program Files,其中包含了空格,因此hadoop报错。所以要把JDK移动到另一个不包含空格名称的文件夹下,例如C:Javajdk1.8.0_201
第三步:修改hadoop配置文件
文件位置:hadoop-3.0.0etchadoopXXX
1.配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2.配置hdfs-site.xml
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/Installed/hadoop-3.0.0/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/D:/Installed/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/D:/Installed/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/Installed/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>
3.配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5.运行hadoop
以管理员方式打开cmd,运行hadoop:
cd D:javahadoop-3.0.0in
hadoop namenode –format
版权归原作者 小芬熊 所有, 如有侵权,请联系我们删除。