Hadoop学习-6-HDFS权限管理

HDFS权限管理

• 认证、授权、审计（/var/log/secure）

HDFS权限管理

• 身份认证，数据访问权限认证
• UGO模型：每个文件和目录都与一个owner、group关联- user：文件所有者- group：组内其他成员- other：其他用户组，最低权限
• 读、写、执行权限- -/d(文件类型)rwx(owner权限)rwx(group权限)rwx(other权限)- hdfs中没有可执行文件的概念，对于目录有x权限，才能读取目录的子级
• 权限掩码- fs.permissions.umask-mode- 新建文件及目录的默认权限，默认022
• 修改权限# 权限变更hadoop fs -chmod[-R递归]777 file_path # ugoa, a指所有用户hadoop fs -chomd[-R] o+x,g-x file_path# 修改ownerhadoop fs -chown[-R] user1 file_pathhadoop fs -chown[-R] user1:group1 file_path# 修改用户组hadoop fs -chgrp[-R] group1 file_path
• web页面修改权限- Sticky key粘滞位，只有文件所有者和root才能做删除或移动
• hdfs用户身份认证- hdfs本身不存在身份认证功能- hadoop.secyrity.authentication- 简单认证 - 依赖linux自身的用户认证系统- 在多用户、多租户的情况下，会导致认证权限混淆- kerberos认证 - 通过秘钥加密技术为客户端应用程序提供强身份验证- 角色 - client- server- kdc - 秘钥分发中心 - kerberos凭证- as验证client身份- tgs获取权限
• hdfs组映射- namenode需要通过用户组映射服务获取该用户所对应的用户组列表，用于用户组权限校验- 用户组服务 - namenode自带，基于linux系统的用户和用户组，/etc/passwd /etc/group，两个文件关联组成用户组和用户的映射- 插件

HDFS ACL权限管理

• 访问控制列表- 为特定的用户或组设置不同的权限，而不仅仅是文件的所有者和文件的组# 查看该文件的acl权限hadoop fs -getfacl[-R] path# 增加权限hadoop fs -setfacl[-R]-m user:username:rwx path# 删除权限hadoop fs -setfacl-x user:username path# 删除所有的acl条目hadoop fs -setfacl-b path# 设置默认acl权限hadoop fs -setfacl-m default:user:username:rwx - dfs.namenode.acls.enabled=true(hdfs-site.xml)

HDFS Proxy user代理用户

• 一个用户代表另一个用户提交作业或访问HDFS - 代码中创建- hdfs中配置 - Hadoop.proxyuser.super(代理用户).hosts- hadoop.proxyuser.super(代理用户).groups