0


头歌2.1 Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建)

第1关:配置开发环境 - JavaJDK的配置

第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建

**第3关:HDFS系统初体验 **

注:

1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测,跳关或者实验环境结束后重新打开 不能单独评测通过

2 复制粘贴请用右键粘贴,CTRL+C/V不管用哦~

第1关:配置开发环境 - JavaJDK的配置:

解压:

mkdir /app
cd /opt
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app

配置环境变量:

vim /etc/profile

细节:vi/vim是一个全屏幕的文本编辑器。输入i进入插入模式(图1)。!!!输入完成后!!!,我们先按Esc退出,输入** :wq** (保存退出)然后enter就行了(图2)。

图1:

图2:

详细可看:Linux文本编辑器---vim详解_llinux vim_卖寂寞的小男孩的博客-CSDN博客

输入内容如下:输入位置为文本内容末尾另起一行

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

通过下面的命令行:使上面的配置生效

source /etc/profile
java -version

**评测! **

第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建:

cd /opt ll
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
mv hadoop-3.1.0/ hadoop3.1
ssh-keygen -t rsa -P ''
#两次回车  图3  图4

图3:

图4:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

家人们坚持住,一大波vim即将来袭 !!!

vim /etc/ssh/sshd_config

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
cd /app/hadoop3.1/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/app/jdk1.8.0_171
vim yarn-env.sh

export JAVA_HOME=/app/jdk1.8.0_171

又一大波vim飘过~~~

插入的内容放在两个<configuration>中。如下图:

vim core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
vim hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.2.10:8099</value>
<description>这个地址是mr管理界面的</description>
</property>

最后一波了,挺住!!!

将Hadoop添加到环境变量中并设置

root

用户可以启动

hadoop
mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name
vim /etc/profile

# 在文件末尾插入下面代码:
#set Hadoop Environment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
hadoop namenode -format
cd /app/hadoop3.1/sbin

下面的vim均在文件头部插入。如图:

vim start-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 
vim stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
vim stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

原神启动,不对Hadoop启动:

start-dfs.sh
jps

评测!

第3关:HDFS系统初体验:

start-dfs.sh
hadoop fs -mkdir /task
hadoop fs -ls /
touch task.txt

最后一个vim了 ,加油!

vim task.txt

hello educoder

hello educoder输入完后,退出vim文本编辑器后再输入下面的内容

hadoop fs -put task.txt /task
hadoop fs -cat /task/task.txt

评测!

**辛苦了家人们,通过了请点点赞吧(・゚・(。>ω<。)・゚・) **

参考链接:http://t.csdn.cn/u6TEi 不过他没我的细哦(>_<)

标签: hadoop hdfs 大数据

本文转载自: https://blog.csdn.net/fdxy12138/article/details/132765637
版权归原作者 学不好python的小猫 所有, 如有侵权,请联系我们删除。

“头歌2.1 Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建)”的评论:

还没有评论