Hadoop学习第1天-云服务器搭建

Hadoop学习第1天-云服务器搭建

(一) AWS云服务器创建

注册

AWS云服务器官网

1.点击EC2进入云服务器平台

2. 创建实例:点击Lauch instances

3. 输入服务器名称

4. 选择系统image(搜索 CentOS 7)

5. 创建密钥(没有就点击Create new key pair)

6. 设置防火墙(设置访问权限)

这里自己练习使用所以允许所有ip连接

7. 设置磁盘大小(默认免费共30G,可以平分给每个instance)

8. 点击Launch instance即可创建实例

9. 保存模版: 用于创建其他相同参数的实例,右击instance并选择创建模版

10. 通过模版创建实例:

1. 点击Launch instances,并选择Launch instance from template
2. 选择模版

(二) 基本概念

VPC

私域, 用于内部访问的网络,设置子网大小(198.163.88.0/16或198.163.0.0/24)

公网IP

用于外部访问,通过互联网访问的唯一IP,例如使用ssh、http、https等

私网IP

用于内部访问,例如家庭网络,路由器等

密钥

共钥:暴露的钥匙,用于匹配访问者的私钥
私钥:下载的.pem文件, 必须好好保存,否则无法通过ssh访问到其他服务器

(三) 访问云服务器

1. 修改密钥文件权限

chmod 400/path/to/my-key.pem

1. 通过ssh连接

ssh -i /path/to/my-key.pem username@public-ip

(四) 映射主机IP (本地生效)

1. 编辑’/etc/hosts’文件

# sudo vim /etc/hosts

1. 添加IP映射

ip_address host_name

eg. 198.162.12.10 node1

1. 保存并退出

:wq

如果要在互联网上生效需要配置DNS服务

(五) 设置SSH免密登陆

要实现 SSH 免密登录，你需要将本地计算机的 SSH 公钥复制到远程服务器上

1. 生成ssh密钥对(如果没有)

ssh-keygen -t rsa -b 4096

-t rsa 指定密钥类型为 RSA

-b 4096 指定密钥长度为 4096 位（默认 2048）

1. 将公钥复制到远程服务器(创建云服务器时已经有了就不用这两步)

ssh-copy-id -i ~/.ssh/id_rsa.pub username@remote_host

ps: 如果这一步有permission错误,则需要确保客户端root用户下/etc/ssh/sshd_config的

sudo vi /etc/ssh/sshd_config
修改以下:
PubkeyAuthentication yes
PasswordAuthentication yes

然后重启sshd

sudo systemctl restart sshd

1. 编辑本地ssh配置文件

vim ~/.ssh/config

your-server-alias：你可以随便起一个别名用于连接这个服务器。

HostName：服务器的 IP 地址或域名。

User：服务器上的用户名。

IdentityFile：私钥文件的路径。

1. 使用ssh无密登陆

ssh your-server-alias

如果是云服务器(没有.ssh/config文件)

1. 上传私钥

scp -i /Users/tangjia/Documents/bigdata/bigdata_key.pem /Users/tangjia/Documents/bigdata/bigdata_key.pem centos@node1:~/.ssh/id_rsa

如果没有明确私钥, 默认使用“ ~/.ssh/id_rsa”,所以要创建一个“ ~/.ssh/id_rsa”文件,内容为上传的私钥

1. 修改文件权限400
2. ssh your-server-alias

(六) 创建Hadoop用户

1. 创建用户

username hadoop
passwd hadoop

1. 切换用户

su - hadoop

1. 创建ssh—key(见(五)免密登陆1、2)

(七) 配置JDK

1. 下载jdk (JDK8下载地址)
2. 上传至云服务器

scp -i /Users/tangjia/Documents/bigdata/bigdata_key.pem /Users/tangjia/Downloads/jdk-8u421-linux-x64.tar.gz node1:tangjia/bigdata

1. 解压

cd /tangjia/bigdata
tar -zxvf ./jdk-8u421-linux-x64.tar.gz 

1. 配置软链接

ln -s jdk1.8.0_421/ jdk

1. 配置环境变量

sudo vi /etc/profile

##添加以下内容
export JAVA_HOME =/tangjia/bigdata/jdk
export $PATH = $JAVA_HOME/bin
##

1. 保存

source /etc/profile

1. 软链接

rm -rf /usr/bin/java
ln -s /tangjia/bigdata/jdk/bin/java /usr/bin/java