0
0

HADOOP的配置

一，集群和分布式的概念

hadoop+java1.8:链接：https://pan.baidu.com/s/1yTlgLGzz6Ow-YWU-CeF68w
提取码：aoag
–来自百度网盘超级会员V4的分享
集群：所有的机器都配置相同的组件
分布式：不同的机器配置的组件不同
共同点：都依赖多台机器运行

二，Linux知识点的补充学习

ls命令，显示指定工作目录之下内容

-a 显示所有文件及目录（.开头的隐藏文件也会列出）

-l显示详细的信息（如文件型态，权限，拥有者）
以下为二者的组合，显示所有的文件的纤细信息

在这里插入图片描述

cd命令，切换当前的工作目录

ps:~：表示用户目录，如果是root用户就在root目录下
/：表示根目录
…表示当前目录的上一级目录

文件相关的操作命令

mkdir命令:用于在指定目录下创建目录。
-p 确保父目录名称存在，不存在的就创建一个

touch命令：创建一个空文件，无任何内容。

rm命令:用于删除一个文件或目录。
-f 强制删除，无需用户确认
-r 将目录及以下所有递归逐一删除

cp命令：用于复制文件或目录
-r若给出的源文件是一个目录文件，此时将复制该目录下所有的子目录和文件

mv命令：用来为文件或目录改名，获将文件或目录移入其他位置。（可以理解为，在同一个目录下移动并重命名）
在这里插入图片描述

cat(concatenate)命令:
用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看

more 命令:类似cat，不过会以一页一页的形式显示，更方便使用者逐页阅读，翻页结束自动退出。适合大文件查看。按space键翻下一页，按b往回( back)上一页

tail 命令:用于查看文件的结尾部分的内容
-n 用于显示行数，默认为10，即显示10行的内容
-f(非常重要，可以用于实时日志采集)用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要+文件有更新，就可以看到最新的文件内容

| 管道命令:将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作命令1命令2可以将命令1的结果通过命令2作进一步的外理
实例如下（以下命令ps查询系统的进程通过管道给grep查询sshd相关的进程）
在这里插入图片描述

echo 命令:用于内容的输出，将内容输出到console控制台上。

‘’>''输出重定向(覆盖)命令
command >file 执行command然后将输出的内容存入file，file内已经存在的内容将被新内容覆盖替代
'>>'输出重定向(追加)命令
command >>file 执行command然后将输出的内容存入file，新内容追加在文件未尾

tar命令

常用于备份文件。是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。
-c或–create建立新的备份文件
-x或–extract或–get 从备份文件中还原文件
-v或–verbose显示指令执行过程
-f<备份文件>或–file=<备份文件>指定备份文件。
如果加上-g表示会对文件进行压缩
也可在末尾加上-C（大写）解压到指定的目录

vim命令

方向键控制移动
翻页 pageup pagedown
行尾(end $)行首(home 0)
跳到文件的最后一行 G
跳到文件的第一行 gg

三，Hadoop配置

hadoop介绍

Hadoop核心组件
Hadoop HDFS(分布式文件存储系统):解决海量数据存储
Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度
Hadoop MapReduce(分布式计算框架):解决海量数据计算

Hadoop特性优点

扩容能力：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可方便灵活的方式扩展到数以千计的节点
成本低：Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据，以至于成本很低看重的是集群整体能力。
效率高：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。
可靠性：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署(redeploy )计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

Hadoop集群整体概述

Hadoop集群包括两个集群:HDFS集群YARN集群

两个集群逻辑上分离、通常物理上在一起
HDFS集群(分布式存储):
主角色:NameNode
从角色:DataNode
主角色辅助角色:SecondaryNameNode

YARN(集群资源管理、调度):
主角色:ResourceManager
从角色:NodeManager

Hadoop的配置

1.配置静态ip，关闭防火墙并设置开机自启动（不展示），修改主机名，修改hosts映射

2.配置Java环境变量

    1.下载jdk1.8并且将它存放在/opt/software
    2.解压到/opt/module/
    3.修改环境变量(在头部加入以下代码)
    export JAVA_HOME=/opt/modules/jdk8
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools
    4.验证是否成功
    输入 java -version
    输出版本信息，证明成功

3.将进行过如上配置的虚拟机复制两台

!!!记得修改IP，和主机名等信息
记得同步时间，输入
ntpdate ntp4.aliyun.com即可将主机的时间同步

4.为机器配置免密登录

1.通过命令生成公钥

ssh-keygen -t rsa

2.将生成的公钥发给目标机器，就可以登陆对方的机器
如果要设置本地免密登录，记得将公钥发送给本地

ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop02

5.环境搭建成功，开始修改配置文件

（记得创建一个/opt/data/hadoop作为hdfs的存储目录）
以下配置文件在/hadoop/etc/hadoop目录下
1.第一类配置文件
hadoop-env.sh

export JAVA_HOME=/opt/modules/jdk8 #指明java所在的环境变量
#指明各个节点角色使用的用户
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.第二类配置文件（4个，:xxxxsite.xml,site表示的是用户定义的配置，会覆盖default中的默认配置）
(1)core-site.xml
vim core-site.xml

    <property><!--设置默认的文件系统，这里选择的是hdfs，hadopp支持多种文件系统-->
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop01:8020</value>
    </property>
    <property><!-- 设置Hadoop本地保存数据路径 ，指定的文件路径一定要存在-->
            <name>hadoop.tmp.dir</name>
            <value>/opt/data/hadoop</value>
    </property>

    <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
    </property>

    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>

    <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>

(2)hdfs-site.xml,hdfs文件系统模块配置

     <property><!--指定secondarynamenode的位置-->
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop02:9868</value>
    </property>

(3)mapred-site.xml,MapReduce模块配置
vim mapred-site.xml

mapreduce.framework.name
yarn

    <property><!-- MR程序历史服务器端地址 -->
            <name>mapreduce.jobhistory.address</name>
            <value>hadoop01:10020</value>
    </property>

    <property><!-- 历史服务器web端地址 -->
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>hadoop01:19888</value>
    </property>
    <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
            <name>mapreduce.map.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
            <name>mapreduce.reduce.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

(4)yarn-site.xml yarn模块配置
vim yarn-site.xml

    <property><!-- 设置YARN集群主角色运行机器位置 -->
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>

    <property><!-- 是否将对容器实施物理内存限制 -->
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
    </property>

    <property><!-- 是否将对容器实施虚拟内存限制。 -->
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
    </property>

    <property><!-- 开启日志聚集 -->
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>

    <property><!-- 设置yarn历史服务器地址 -->
            <name>yarn.log.server.url</name>
            <value>http://hadoop01:19888/jobhistory/logs</value>
    </property>

    <property><!-- 保存的时间7天 -->
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
    </property>

3.第三类配置文件
vim workers
hadoop01
hadoop02
hadoop03

6.修改完成后，向其他节点，分发配置文件

scp -r hadoop root@hadoop02:/opt/modules

7.修改hadoop环境变量，并且将它分发给其他机器

vim /etc/profile
export HADOOP_HOME=/opt/modules/hadoop
export PATH= 

     P 
    
   
     A 
    
   
     T 
    
   
     H 
    
   
     : 
    
   
  
    PATH: 
   
  
PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

source vim /etc/profile使配置文件生效
scp -r /etc/profile root@hadoop02:/opt/modules

8.在NameNode节点格式化

hdfs namenode -format
如果出现了，说明成功了
在这里插入图片描述

9.将启动hadoop

NameNode节点是输入
1.start-dfs.sh
2.start-yarn.sh
没有什么报错后，在浏览器输入，访问查看节点和文件系统是否正常
http://hadoop01:9870/
http://hadoop01:8088/

到此，配置完成

标签： hadoop 大数据 分布式
本文转载自: https://blog.csdn.net/weixin_52449548/article/details/135350967
版权归原作者 你的五行缺我 所有， 如有侵权，请联系我们删除。
登录后发布评论

“HADOOP的配置”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航