大数据导论实验一：搭建Hadoop集群

一、实验要求（10%）
搭建Hadoop集群，要求至少是3个节点的真分布式集群系统，包含1个NameNode，两个DataNode。
集群的安装配置大致为如下流程:
1）准备3台客户机（关闭防火墙、静态IP、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）集群启动并测试集群

二、实验内容及步骤（80%）

一、安装VMware Workstation Pro并配置虚拟机
使用 ubuntu-20.04.5-live-server-amd64.iso）

网络设置

使用中国科学技术大学的开源软件镜像源，地址：
http://mirrors.ustc.edu.cn/ubuntu

硬盘格式化

用户配置

在新的页面，选择 [ ] Install OpenSSH server

系统安装
完成
首次登录
输入之前设置的管理员用户名和密码，登录到系统。
二、Hadoop安装
创建新用户：

sudo adduser hadoop

设置密码
安装Hadoop
安装Java
切换到 Hadoop 用户
Hadoop 配置
使用

cd $HADOOP_HOME/etc/hadoop

进入配置文件夹。

core-site.xml

Hdfs-site.xml

Yarn-site.xml

Mapred-site.xml

修改workers

配置网络
修改hosts
退出 hadoop 用户：

exit

修改 hosts：

sudo nano /etc/hosts

修改 127.0.0.1 namenode 为 
192.168.10.100 namenode
添加以下两行：
192.168.10.101 datanode1
192.168.10.102 datanode2

克隆虚拟机
先关机

连续使用两次“创建链接克隆”，保存为 datanode1 和 datanode2

开启 datanode1，如果提示是复制了还是移动了虚拟机，选择“我已复制该虚拟机”

登录到 super 用户

修改主机名：

sudo hostnamectl set-hostname datanode1

修改 IP 配置：

sudo nano /etc/netplan/00-installer-config.yaml

将 addresses: 下的 192.168.10.100/24 替换为

192.168.10.101/24

保存退出
重启虚拟机：

reboot

登录到 super 用户
验证 IP 地址：

ip addr

出现 inet 192.168.10.101/24 即表示正确

datanode2同样

在三台同时运行的虚拟机上，各自：
切换到 hadoop 用户：

su - hadoop

生成公钥对：

ssh-keygen -t ed25519

按三次回车！（即全部使用默认配置）

上述三个步骤已在三台机上全部执行完毕后，逐一完成公钥复制：

ssh-copy-id namenode
ssh-copy-id datanode1
ssh-copy-id datanode2

启动集群
在 namenode 机器上
格式化 HDFS：

hdfs namenode -format

启动集群：

start-dfs.sh

在 datanode1 机器上
启动 YARN：

start-yarn.sh

HDFS控制面板 http://192.168.10.100:9870

第一篇CSDN博客诶，开心！！！谢谢田大佬！！！
实验报告可能添加到附加资源里！