0


[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②

👨‍🎓👨‍🎓博主:发量不足

个人简介:耐心,自信来源于你强大的思想和知识基础!!

📑📑本期更新内容:安装Hadoop、配置Hadoop 配置文件②🔥🔥🔥

📑📑下篇文章预告:安装Hadoop、配置Hadoop 配置文件③🔥🔥🔥

一、配置 core-site.xml 文件参数

(1)**** vi core-site.xml ****(集群全局参数)

(2)** 在文件中**<configuration></configuration>一对标签之间追加以下配置信息 ****

  <property>

                <name>fs.defaultFS</name>

                <value>hdfs://192.168.196.101:9000</value>

        </property>

        <property>

                <name>io.file.buffer.size</name>

                <value>131072</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>file:/opt/module/hadoop/tmp</value>

        </property>

注:IP地址是master的

******二、配置 mapred-site.xml **(Mapreduce参数)

(1)**** cp mapred-site.xml.template mapred-site.xml****

(2)**** vi mapred-site.xml****

(3)** 在文件中**<configuration></configuration>一对标签之间追加以下配置信息 ****

 <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

        <property>

                <name>mapreduce.jobhistory.address</name>

                <value>master:10020</value>

        </property>

        <property>

                <name>mapreduce.jobhistory.webapp.address</name>

                <value>master:19888</value>

        </property>

** 三、**配置 yarn-site.xml

(1)** **集群资源管理系统参数

**** vi yarn-site.xml ****

(2)** 在文件中**<configuration></configuration>****一对标签之间追加以下配置信息 **** ****

 <property>

                <name>yarn.resourcemanager.address</name>

                <value>master:8032</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address</name>

                <value>master:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>master:8031</value>

        </property>

        <property>

                <name>yarn.resourcemanager.admin.address</name>

                <value>master:8033</value>

        </property>

        <property>

                <name>yarn.resourcemanager.webapp.address</name>

                <value>master:8088</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

标签: hadoop 大数据 linux

本文转载自: https://blog.csdn.net/m0_57781407/article/details/128184036
版权归原作者 发量不足 所有, 如有侵权,请联系我们删除。

“[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②”的评论:

还没有评论