作者：禅与计算机程序设计艺术
1.简介
本文主要基于实践经验和理论研究，详细阐述大数据集群（Hadoop/Spark）调优的方法、步骤及工具。主要包括：
- HDFS集群优化：包括HDFS存储结构、目录结构、参数设置等方面； 2) Yarn集群优化：包括YARN资源分配策略、队列管理、应用提交参数设置、容错机制等方面； 3) MapReduce优化：包括Map任务内存分配、spill-to-disk设置、reduce task数量、网络传输优化等方面； 4) Spark集群优化：包括Spark作业配置、任务调度、内存分配、联邦集群配置、DAG优化等方面； 5) Hive集群优化：包括Hive执行引擎选择、Hive元数据库设置、动态分区管理、Tez作业优化等方面； 6) Zookeeper集群优化：包括Zookeeper性能调优、服务端参数设置、客户端参数设置等方面； 7) 操作系统参数调优：包括IO调优、网络调优、内存调优、磁盘调优等方面。
2.背景介绍
大数据集群是一个庞大的分布式计算平台，由众多服务器组成。当集群规模达到一定程度时，如果不对其进行优化，将会导致整个集群整体运行效率降低。因此，如何在大数据集群中提升集群整体的运行效率成为一个重要的问题。
由于大数据集群环境复杂多变，各种服务模块以及组件的存在，使得集群优化工作具有很高的难度。因此，如何做到精细化、自动化，并在合适的时间点触发相应的优化措施则成为企业调优大数据集群不可或缺的一项重要技能。
在本文中，作者通过系统的学习、研究、实践，结合自己的实际工作经验和理解，对Hadoop、Spark集群调优方法、步骤及工具进行了全面的讲解
本文转载自: https://blog.csdn.net/universsky2015/article/details/132784519
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。