作者:禅与计算机程序设计艺术
Yarn 是 Hadoop 的官方子项目之一,它是一个包管理器,可以用来安装、共享、发布 Hadoop 组件(如 MapReduce、Spark、Pig)。通常情况下,用户通过 Yarn 可以直接提交作业到集群上执行,但也存在安全风险。由于 Yarn 没有提供任何身份认证机制,所以任意一个可信任的用户都可以向其提交任务。因此,Yarn 需要做好集群资源的隔离和授权工作,确保集群资源只能被受信任的应用方访问,且只有授权的用户才能提交任务。本文从以下几个方面阐述 Yarn 仓库的安全性保障措施:
- 隔离性:限制对其他租户的资源访问权限。
- 可审计性:记录所有 Yarn 操作及相关信息,方便管理员进行审计、监控、报告。
- 身份验证和授权:支持基于 Kerberos 或 Token 等机制的身份验证,同时提供了细粒度的授权控制能力。
- 数据加密:在传输过程中,数据默认采用 SSL/TLS 协议加密传输,并且服务端支持 HTTPS 请求。
- 服务质量保证:通过集群容错技术、流量控制、资源隔离等措施提升服务可用性和运行效率。
本文以最新的 Hadoop-3.2 和 Yarn-2.10 为例进行介绍。
2.基本概念术语说明
2.1 软件需求和目标
2.1.1 Hadoop-3.2
Hadoop 是一个开源的分布式计算框架,用于存储海量的数据并进行高速数据处理。它具有独特的优势,如数据规模大、高并发处理能力、海量数据分析能力。Hadoop-3.2 引入了
版权归原作者 禅与计算机程序设计艺术 所有, 如有侵权,请联系我们删除。