Hadoop参数调优全攻略，让你的集群性能翻倍！

在大数据处理项目中，HDFS存储多目录、集群数据均衡和Hadoop参数调优是三个关键的领域，它们对于确保Hadoop集群的高效运行和数据管理至关重要。下面是对这三个领域的更详细的介绍：

项目经验之HDFS存储多目录

1. 目录规划：根据数据类型和访问模式设计合理的目录结构，以便于数据管理和访问。
2. 空间配额：利用HDFS的配额功能来限制目录的使用空间，防止无限制的数据增长。
3. 权限控制：为不同的目录设置适当的权限，以确保数据安全和隔离。
4. 数据组织：优化文件和目录的组织方式，比如使用合适的文件格式（如：SequenceFile、Parquet、ORC）来提高存储效率和查询性能。

生产环境服务器磁盘情况

在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题

HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。

<property>

  <name>dfs.datanode.data.dir</name>

<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>

</property>

注意：每台服务器挂载的磁盘不一样，所以每个节点的多目录配置可以不一致。单独配置即可。

集群数据均衡

1. 数据块分布：监控数据块在集群中的分布情况，确保数据均匀分布，避免某些节点过载。
2. HDFS Balancer：使用Hadoop的Balancer工具来自动重新平衡数据块，提高存储效率。
3. 机架感知：利用机架感知功能来优化数据的存储位置，减少网络传输，提高数据访问速度。
4. 负载均衡：通过YARN的调度器来平衡计算任务的分配，避免某些节点的资源浪费。

节点间数据均衡

开启数据均衡命令：

start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

停止数据均衡命令：

stop-balancer.sh

磁盘间数据均衡

1.生成均衡计划（我们只有一块磁盘，不会生成计划）

hdfs diskbalancer -plan node02

2.执行均衡计划

hdfs diskbalancer -execute node02.plan.json

3.查看当前均衡任务的执行情况

hdfs diskbalancer -query node02

4.取消均衡任务

hdfs diskbalancer -cancel node02.plan.json

项目经验之Hadoop参数调优

1. 内存配置：根据集群的内存容量和作业的内存需求，调整MapReduce和YARN的内存参数，如mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、yarn.nodemanager.resource.memory-mb等。
2. JVM****参数：为Hadoop的各个守护进程（如NameNode、DataNode、ResourceManager、NodeManager）配置合适的JVM参数，以提高性能和稳定性。
3. I/O****优化：优化磁盘I/O，比如调整HDFS的读写缓冲区大小，使用SSD等高速存储设备。
4. 网络优化：调整网络参数，如增加网络缓冲区大小，优化RPC调用，减少网络延迟和拥塞。
5. 压缩：使用数据压缩来减少存储空间的占用和提高I/O效率，选择合适的压缩算法（如Snappy、Gzip）。
6. 作业调度：优化作业调度策略，比如使用公平调度器或容量调度器来满足不同的作业需求。

HDFS****参数调优hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。

<property>

  <name>dfs.namenode.handler.count</name>

  <value>10</value>

</property>

dfs.namenode.handler.count= ，比如集群规模为8台时，此参数设置为41。可通过简单的python代码计算该值，代码如下。

[jiangqi@node01 ~]$ python
Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
\>>> import math
\>>> print int(20*math.log(8))
41
\>>> quit()

YARN****参数调优yarn-site.xml

1.情景描述：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

2.解决办法：

内存利用率不够。这个一般是Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

（a）yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

（b）yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

在进行参数调优时，需要综合考虑集群的硬件配置、作业的特点和性能指标，通过实验和监控来找到最佳的配置。同时，也要注意避免过度调优，因为不恰当的参数设置可能会影响集群的稳定性和性能。

总之，HDFS存储多目录、集群数据均衡和Hadoop参数调优是Hadoop项目中的重要环节，需要根据具体的业务需求和集群环境来进行细致的规划和调整。通过合理的设计和优化，可以大大提高Hadoop集群的性能和稳定性，为大数据处理提供坚实的基础。