MAC系统安装Hadoop

一、设置免密登录

1、系统偏好设置 ----- 共享 ---- 勾选远程登录，所有用户

2、打开终端，输入命令 **

ssh-keygen -t rsa

**，一直回车即可

2.查看生成的公钥和私钥

   cd ~/.ssh
    ls

会看到~/.ssh目录下有两个文件：
①私钥：id_rsa
②公钥：id_rsa.pub

3.将公钥内容写入到~/.ssh/authorized_keys中

   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.测试
在terminal终端输入 ** ssh localhost**

如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功

Are you sure you want to continue connecting (yes/no/[fingerprint])? yes

二、安装Hadoop

1.使用Homebrew安装Hadoop
没有安装Homebrew先安装在终端执行

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

点击回车，输入开机密码即可安装，此过程比较慢，请耐心等待，下载源按需自选。

2.输入**

brew -v

**测试一下安装是否成功

3.安装Hadoop

① 使用

brew

命令安装（这里没有指定版本，安装的是最新版的

hadoop

）：

brew install hadoop

红框为你本地hadoop的路径，后续配置的路径都要替换为这个路径

② 查看是否安装成功，可以看到自己的版本号：

hadoop version

三、配置hadoop

进入

hadoop

的目录：

cd /usr/local/Cellar/hadoop/3.3.3/libexec/etc/hadoop

ls

修改配置文件

vim core-site.xml

进入文件后加入：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/Cellar/hadoop/tmp</value> </property> </configuration>

vim hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/Cellar/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/Cellar/hadoop/tmp/dfs/data</value> </property> </configuration>

vim mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.3/libexec</value> </property> </configuration>

vim yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>localhost:9000</value> </property> <property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> <value>100</value> </property> </configuration>

四、启动Hadoop

1.启动

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin

./start-dfs.sh

2.在浏览器中输入 http://localhost:9870/dfshealth.html#tab-overview 看到以下界面启动成功

如果打不开这个页面，而且又启动了，需要在

hadoop

下

/etc/hadoop/hadoop-env.sh

文件下第52行后面添加下方配置:

cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

3.停止hadoop服务

./stop-yarn.sh

4.启动yarn服务

cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./start-yarn.sh

在浏览器中输入 http://localhost:8088/cluster 看到一下界面则启动成功

5.停止yarn服务

./stop-yarn.sh