Hadoop-3.3.0-Centos7安装详解

Hadoop3.1.3–Centos7伪分布式安装

安装包目录软件安装目录

mkdir-p /opt/sofware
mkdir-p /opt/servers

一、基础配置

​ 我们规划整个Hadoop集群由三台服务器组成,分别为node1、node2和node3

• 配置虚拟机

​ 通过克隆方式创建的虚拟机node2和node3的主机名均与克隆源虚拟机

​ 这里需要修改虚拟机node2和node3的主机名，即将它们分别命名为node2和node3

​ 修改主机名

• 配置虚拟机网络hostnamectl set-hostname node2

​ 重复上述步骤，将虚拟机node3的主机名修改为node03

• 配置虚拟机网络跳转链接在Liunx系统下配置网关
• 配置SSH免密登录功能分别在三台虚拟机中执行“rpm -qa | grep ssh”命令查看当前虚拟机是否安装SSH服务rpm-qa|grepssh如果已经安装了ssh相关服务可执行“ps -e | grep sshd”命令查看SSH服务是否启动（若没有安装，则需要执行“yum install openssh-server”命令进行在线安装）ps-e|grep sshdyum install openssh-server #在线安装ssh服务开始配置输入“ssh-keygen -t rsa”指令，并根据提示，可以不用输入任何内容，连续按四次Enter键确认ssh-keygen -t rsa将公钥拷贝到需要关联的虚拟机上（即node1、node2、node3），根据提示输入“yes”和node2主机的密码123456执行“ssh node2”命令，验证免密登录是否成功ssh node2重复上述步骤，实现服务器node1分别到node2和node3的单向免密登录，这里不再赘述。
• 配置IP映射配置IP映射，将三台虚拟机的IP地址与对应的主机名进行映射，便于后续可以直接通过主机名访问对应的主机，这里以虚拟机node1为例，具体操作步骤如下。执行如下命令，修改IP映射文件hosts，具体如下：vi /etc/hosts重复上述步骤，分别在虚拟机node2和node3中配置IP映射，这里不再赘述。
• 关闭防火墙查看防火墙systemctl status firewalld.service关闭防火墙systemctl stop firewalld.service执行上述命令后，再次执行查看防火墙状态的命令，若是出现“inactive（dead）”，则说明防火墙已关闭不过此时虚拟机中的防火墙只是暂时关闭，一旦系统重启，则防火墙也会重新启动，因此需要永久关闭防火墙，防火墙开机启动，具体命令如下：systemctl disable firewalld.service

二、Hadoop集群伪分布式安装

• 安装JDK上传Hadoop安装包到node1 /export/server 执行命令安装，安装完JDK后，还需要配置JDK环境变量。这里是将JDK添加到user_hbase用户的环境变量中，执行“vi ~/.bash_profile”命令，打开.bash_profile文件，在文件底部添加如下内容即可。tar-zxvf jdk-8u65-linux-x64.tar.gz -C /opt/servers/hbase_demo/mv jdk1.8.0_65/ jdk# 配置JDK系统环境变量exportJAVA_HOME=/opt/servers/jdk1.8exportPATH=$PATH:$JAVA_HOME/binexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar在.bash_profile文件中配置完上述JDK环境变量后（注意JDK路径），保存退出即可。然后，还需要执行“source ~/.bash_profile”命令，使配置文件生效。
• 安装并且部署Hadoop1、上传Hadoop安装包到node1 /export/server 执行命令安装hadoop-3.1.3.tar.gztar zxvf hadoop-3.1.3.tar.gz# 配置JDK系统环境变量exportHADOOP_HOME=/opt/servers/hadoop-3.1.3exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin2、修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)①hadoop-env.sh#文件最后添加exportJAVA_HOME=/opt/servers/jdkexportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root ②core-site.xml<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 --><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value></property><!-- 设置Hadoop本地保存数据路径 --><property><name>hadoop.tmp.dir</name><value>/opt/servers/data/hadoop-3.3.0</value></property><!-- 设置HDFS web UI用户身份 --><property><name>hadoop.http.staticuser.user</name><value>root</value></property><!-- 整合hive 用户代理设置 --><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property><!-- 文件系统垃圾桶保存时间 --><property><name>fs.trash.interval</name><value>1440</value></property>③hdfs-site.xml<!-- 设置SNN进程运行机器位置信息 --><property><name>dfs.namenode.secondary.http-address</name><value>node2:9868</value></property>④mapred-site.xml<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- MR程序历史服务地址 --><property><name>mapreduce.jobhistory.address</name><value>node1:10020</value></property><!-- MR程序历史服务器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>node1:19888</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property>⑤yarn-site.xml<!-- 设置YARN集群主角色运行机器位置 --><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 是否将对容器实施物理内存限制 --><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><!-- 是否将对容器实施虚拟内存限制。 --><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><!-- 开启日志聚集 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置yarn历史服务器地址 --><property><name>yarn.log.server.url</name><value>http://node1:19888/jobhistory/logs</value></property><!-- 历史日志保存的时间 7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>⑥workersnode1node2node33、分发同步hadoop安装包cd /export/serverscp-r hadoop-3.1.3 root@node2:$PWDscp-r hadoop-3.1.3 root@node3:$PWD4、将hadoop添加到环境变量（3台机器）vim /etc/profileexportHADOOP_HOME=/opt/server/hadoop-3.1.3exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile5、Hadoop集群启动①（首次启动）格式化namenodehdfs namenode -format②脚本一键启动[root@node1 ~]# start-dfs.sh Starting namenodes on [node1]Last login: Thu Nov 510:44:10 CST 2020 on pts/0Starting datanodesLast login: Thu Nov 510:45:02 CST 2020 on pts/0Starting secondary namenodes [node2]Last login: Thu Nov 510:45:04 CST 2020 on pts/0[root@node1 ~]# start-yarn.sh Starting resourcemanagerLast login: Thu Nov 510:45:08 CST 2020 on pts/0Starting nodemanagersLast login: Thu Nov 510:45:44 CST 2020 on pts/0- Web UI页面- HDFS集群：http://node1:9870/- YARN集群：http://node1:8088/