hadoop_core-site.xml配置实例

hadoop3.2.3的高可用集群core-site.xml配置实例

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><!--Hadoop文件系统的默认URI，这里的默认访问地址是starcluster --><name>fs.defaultFS</name><value>hdfs://starcluster</value></property><property><!--Hadoop临时文件的存储目录 --><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp/hadoop/</value></property><property><!--设置代理用户（root用户）可以访问Hadoop服务的主机和组 --><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property><property><!--设置HDFS垃圾回收机制，文件将在垃圾桶中保留1440分钟后被永久删除 --><name>fs.trash.interval</name><value>1440</value></property><property><!--设置HDFS垃圾回收机制，圾桶的检查点间隔是120分钟 --><name>fs.trash.checkpoint.interval</name><value>120</value></property><property><!--设置ZooKeeper集群的地址和端口，用于Hadoop的高可用性配置 --><name>ha.zookeeper.quorum</name><value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value></property><property><!--用于设置代理用户（hadoop用户）可以访问Hadoop服务的主机和组 --><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property><property><!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 --><name>hadoop.proxyuser.hadoop.groups</name><value>hadoop</value></property><property><!--允许任何主机上的root用户通过代理访问Hadoop服务 --><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 --><name>hadoop.proxyuser.root.groups</name><value>hadoop</value></property><property><!--指定Hadoop支持的压缩编解码器列表 --><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.GzipCodec,
             org.apache.hadoop.io.compress.DefaultCodec,
             org.apache.hadoop.io.compress.BZip2Codec,
             org.apache.hadoop.io.compress.SnappyCodec,
             com.hadoop.compression.lzo.LzoCodec,
             com.hadoop.compression.lzo.LzopCodec
        </value></property><property><!--是否使用Snappy的本地库（native library）来进行压缩和解压缩操作 --><name>io.compression.codec.snappy.native</name><value>true</value></property><property><!--指定LZO压缩编解码器的Java类名 --><name>io.compression.codec.lzo.class</name><value>com.hadoop.compression.lzo.LzoCodec</value></property></configuration>