1 准备工作
- 准备好集群环境 详情参考博客:集群初始配置。
- 安装 Java 1. 输入
javac
可查看安装提示信息。2. 使用命令sudo apt install openjdk-8-jdk-headless
安装JDK3. 配置环境变量。使用sudo vim /etc/profile
打开profile文件,输入以下内容,保存并退出。然后输入命令source /etc/profile
使修改生效。exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
2 获取文件
- 去官网https://dlcdn.apache.org/hadoop/下载文件。比如下载```hadoop-3.4.0.tar.gz```。
- 上传至某一个 Linux 设备上。
- 创建目录
/opt/hadoop/
,或根据自己情况选择其他目录。使用以下命令解压:sudotar-zxvf hadoop-3.4.0.tar.gz -C /opt/hadoop/
3 修改配置
需要修改
/opt/hadoop/etc/hadoop
中的hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 和 workers。
3.1 hadoop-env.sh
如果是按照上面方法安装的Java,可添加如下内容:
exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
exportPATH=$PATH:$JAVA_HOME/bin
exportHADOOP_HOME=/opt/hadoop/hadoop-3.4.0
exportPATH=$PATH:$HADOOP_HOME/bin
exportPATH=$PATH:$HADOOP_HOME/sbin
exportHADOOP_PID_DIR=$HADOOP_HOME/tmp
exportHADOOP_LOG_DIR=$HADOOP_HOME/logs
然后将该文件复制到
/etc/profile.d
,并运行
source /etc/profile
使其生效。
3.1 core-site.xml
添加配置如下:
<configuration><!-- 配置指定HDFS的通信地址 --><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value></property><!-- 配置Hadoop的临时文件存储目录。需要手动创建及修改权限。 --><property><name>hadoop.tmp.dir</name><value>${HADOOP_PID_DIR}</value></property><!-- 配置网页登录使用的用户 --><property><name>hadoop.http.staticuser.user</name><value>cluster</value></property></configuration>
3.2 hdfs-site.xml
添加配置如下:
<configuration><!-- 配置NameNode的http访问地址和端口号 --><property><name>dfs.namenode.http-address</name><value>node1:9870</value></property><!-- 配置SecondaryNameNode的http访问地址和端口号 --><property><name>dfs.namenode.secondary.http-address</name><value>node2:9868</value></property><!----------- 下面的可选择配置 -----------><!-- 配置HDFS副本数量 --><property><name>dfs.replication</name><value>3</value></property><!-- 配置NameNode存放的路径 --><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop/hadoop-3.4.0/tmp/dfs/name</value></property><!-- 配置DataNode存放的路径 --><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop/hadoop-3.4.0/tmp/dfs/data</value></property></configuration>
3.3 mapred-site.xml
添加配置如下:
<configuration><!-- 配置MapReduce运行时的框架 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><!----------- 下面的可选择配置 -----------><!-- 配置MapReduce的历史服务器安装的位置及端口号 --><property><name>mapreduce.jobhistory.address</name><value>node3:10020</value></property><!-- 设置历史服务器的web页面地址和端口 --><property><name>mapreduce.jobhistory.webapp.address</name><value>node3:19888</value></property><!-- 配置存放日志文件的临时目录 --><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/opt/hadoop/hadoop-3.4.0/tmp/mr-history/tmp</value></property><!-- 配置存放运行日志文件的最终目录 --><property><name>mapreduce.jobhistory.done-dir</name><value>/opt/hadoop/hadoop-3.4.0/tmp/mr-history/done</value></property></configuration>
3.4 yarn-site.xml
添加配置如下:
<configuration><!-- 配置ResourceManager运行位置 --><property><name>yarn.resourcemanager.hostsname</name><value>node3</value></property><!-- 配置NodeManager启动时加载server的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!----------- 下面的可选择配置 -----------><!-- 配置使用mapreduce_shuffle中的类 --><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><!-- 配置ResourceManager服务器的web地址和端口 --><property><name>yarn.resourcemanager.webapp.address</name><value>node3:8088</value></property><!-- 配置配置是否启用日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 配置聚集的日志在HDFS上保存的最长时间 --><property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property><!-- 配置日志聚合目录 --><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/opt/hadoop/hadoop-3.4.0/logs</value></property></configuration>
namenode、secondary namenode 和 ResourceManager 建议放在不一设备上。
3.5 workers
设置为你的设备地址。如
node1
node2
node3
4 分发文件
经过上面的配置已经配置好文件,接下来需要把文件分发给其他设备。为了方便分发,我编写了脚本,以供使用。可参考:https://blog.csdn.net/White_Ink_/article/details/139909769。
5 启动集群
在 Hadoop 根目录运行以下命令。
- 在启动 Hadoop 集群前,需要先格式化 NameNode,在 Master 主机下操作。在下一次格式化之前,需要停止所有的 NameNode和 DateNode,并删除所有机器的 tmp 和 logs 中的文件。
./bin/hdfs namenode -format
- 启动和停止HDFS:
./sbin/start-dfs.sh #启动HDFS./sbin/stop-dfs.sh #停止HDFS
- 启动和停止YARN:
./sbin/start-yarn.sh #启动YARN./sbin/stop-yarn.sh #停止YARN
- 全部启动和停止:
./sbin/start-all.sh #启动HDFS和YARN./sbin/stop-all.sh #停止HDFS和YARN
- 启动和停止历史(日志)服务器:
./sbin/mr-jobhistory-daemon.sh start historyserver #启动historyserver./sbin/mr-jobhistory-daemon.sh start historyserver #停止historyserver
6 访问
- 访问HDFS:
node1:9870
。 - 访问YARN:
node3:8088
。
版权归原作者 北_鱼 所有, 如有侵权,请联系我们删除。