文章目录
Ranger管理Hive安全
一、配置HiveServer2
访问Hive有两种方式：HiveServer2和Hive Client，Hive Client需要Hive和Hadoop的jar包，配置环境。HiveServer2使得连接Hive的Client从Yarn和HDFS集群中独立出来，不需要每个节点都配置Hive和Hadoop的jar包和一系列环境。
Ranger管理Hive权限只能针对HiveServer2 jdbc方式连接，所以这里需要配置HiveServer2。
配置HiveServer2步骤如下：
1）在Hive服务端配置hive-site.xml
#在Hive 服务端 $HIVE_HOME/conf/hive-site.xml中配置：<!-- 配置hiveserver2 --><property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>192.168.179.4</value></property><!-- 配置hiveserver2使用的zookeeper --><property><name>hive.zookeeper.quorum</name><value> node3:2181,node4:2181,node5:2181</value></property>
注意：“hive.zookeeper.quorum”搭建hiveserver2HA使用配置项，可以不配置，如果不配置启动hiveServer2时一直连接本地zookeeper,导致大量错误日志（/tmp/root/hive.log），从而导致通过beeline连接当前node1节点的hiveserver2时不稳定，会有连接不上错误信息。
2）在每台Hadoop 节点配置core-site.xml,记得发送到所有节点
<!-- 配置代理访问用户，如果不配置下列信息 hive的jdbc连接会报错 --><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
3）重启HDFS ，Hive ，在Hive服务端启动Metastore 和 HiveServer2服务****
[root@node1 conf]# hive --service metastore &[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &
4）在客户端通过beeline连接Hive
[root@node3 test]# beelinebeeline> !connect jdbc:hive2://node1:10000 rootEnter password for jdbc:hive2://node1:10000: **** #可以输入任意密码,没有验证0: jdbc:hive2://node1:10000> show tables;
二、安装Ranger-hive-plugin
我们可以使用Ranger对Hive数据安全进行管理，这里需要安装Hive插件“ranger-2.1.0-hive-plugin”，此插件只能对jdbc方式连接Hive的请求进行权限管理，不能对hive-cli客户端方式进行权限管理（一般安装Hive的节点才能使用Hive客户端访问）。步骤如下：
1）远程发送编译好的“hive-plugin”到node1节点“/software”目录下，并解压
远程发送“/software/apache-ranger-2.1.0/target/”下的“ranger-2.1.0-hive-plugin.tar.gz”到node1节点“/software”下：
[root@node3 /]# scp /software/apache-ranger-2.1.0/target/ranger-2.1.0-hive-plugin.tar.gz node1:/software/#在node1节点操作[root@node1 ~]# cd /software/[root@node1 software]# tar -zxvf ./ranger-2.1.0-hive-plugin.tar.gz
2）配置“install.properties”文件
进入到“/software/ranger-2.1.0-hive-plugin”目录中，修改“install.properties”文件：
[root@node1 ranger-2.1.0-hive-plugin]# vim install.properties#配置Ranger-Admin访问地址POLICY_MGR_URL=http://node1:6080#配置Hive 仓库名称，可以自定义，需要后期在Ranger中使用REPOSITORY_NAME=hive_repo#配置Hive的安装目录COMPONENT_INSTALL_DIR_NAME=/software/hive-3.1.2/#配置使用插件的用户和用户组CUSTOM_USER=rootCUSTOM_GROUP=root
3）执行“enable-hive-plugin.sh”脚本启动hive插件
进入到“/software/ranger-2.1.0-hive-plugin”目录下，执行如下命令，启用插件：
[root@node1 ~]# cd /software/ranger-2.1.0-hive-plugin[root@node1 ranger-2.1.0-hive-plugin]# enable-hive-plugin.sh
三、配置Ranger连接Hive服务
安装好以上Hive-Plugin之后，重新启动HDFS，启动Hive,HiveMetastore、HiveServer2等。如果想要对连接Hive的用户进行表、列权限管理，需要在Ranger中添加对应的Hive服务，才可以使用Ranger通过这个服务配置每个用户对Hive库、表、列权限管理。配置如下：
1）启动HDFS，启动Hive、Hive MeateStore、Hive Server2
#启动HDFS，在node1节点上启动Hive metastore[root@node1 conf]# start-all.sh[root@node1 conf]# hive --service metastore &[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &
2）在Ranger页面中配置Hive
注意，以上参数解释如下：
- “Service Name”填写当前Hive 服务名称，与Hive插件中"install.properties"文件配置参数"REPOSITORY_NAME"保持一致。
- 配置的“user”和“password”也是与"install.properties"文件中配置的“CUSTOM_USER=root”、“CUSTOM_GROUP=root”保持一致。
- “jdbc.url”填写“jdbc:hive2://node1:10000”即可，这里连接node1。
添加完成之后：
3）连接测试是否可以jdbc方式连接上Hive
注意：这里连接时，单机测试连接时需要等待一段时间，才能正常连接。
四、Ranger对Hive用户进行权限管理
查看Ranger中配置好的Hive权限管理服务：
修改上图中只有root用户对所以库、表、列具有操作权限,修改后如下：
在node3中登录beeline连接node1 hive：
#node3 通过beeline连接Hive[root@node3 ~]# beeline#连接HiveServer2 jdbc连接beeline> !connect jdbc:hive2://node1:10000#这里用户名目前可以随意输入，在Hive中没有校验，这里可以通过Hive配置有哪些用#户可以连接Hive，然后通过Ranger再管理这些用户的细粒度访问权限。从上图中可以#看到目前只有root用户可以访问表数据，可以使用非root用户测试，这里使用#“diaochan”用户：Enter username for jdbc:hive2://node1:10000: diaochan#由于Hive中没有检验密码，所以这里可以随意输入任意密码Enter password for jdbc:hive2://node1:10000: ****#查询库下的表，没有权限。0: jdbc:hive2://node1:10000> show tablesError: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [daochan] does not have [USE] privilege on [default] (state=42000,code=40000)#重新使用root用户登录beeline，查询对应的表，有权限[root@node3 ~]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: rootEnter password for jdbc:hive2://node1:10000: *** #密码随意0: jdbc:hive2://node1:10000> show tables;
下面在Hive中创建两张表进行权限管理：
#在Hive中创建两张表create table student (id int,name string,age int) row format delimited fields terminated by '\t';create table score (id int,name string,score int) row format delimited fields terminated by '\t';
上传数据附件，将以上文件上传到node3“/software/test”下
1 zhangsan 182 lisi 193 wangwu 204 maliu 215 tianqi 226 zhaoba 23
1 zhangsan 1002 lisi 2003 wangwu 3004 maliu 4005 tianqi 5006 zhaoba 600
#加载数据：hive> load data local inpath '/root/test/students.txt' into table student;hive> load data local inpath '/root/test/scores.txt' into table score;
权限需求：对用户“user1”配置以上两张表的访问和修改权限，对用户“user2”配置对两张表只有访问权限。
配置步骤如下：
1）在node1节点创建两个用户，密码为对应用户名称
#创建两个用户user1,和user2[root@node1 ~]# useradd user1[root@node1 ~]# passwd user1[root@node1 ~]# useradd user2[root@node1 ~]# passwd user2
2）在Ranger页面，打开“hive_repo”服务，配置如下：
配置“Student”表权限：
最终配置好如下：
3）登录Hive Beeline测试：
向HDFS中插入数据时，user1，user2用户需要操作HDFS和Yarn，所以这里将HDFS中Hive对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”，将Yarn使用目录“tmp”路径权限改成“777”
[root@node5 bin]# hdfs dfs -chmod -R 777 /user[root@node5 bin]# hdfs dfs -chmod -R 777 /tmp
测试登录user1，对“student”、“score”表有操作和修改权限，如下：
[root@node3 ~]# beelinebeeline> !connect jdbc:hive2://node1:100000: jdbc:hive2://node1:10000> select * from student;
0: jdbc:hive2://node1:10000> select * from score;
#向表student、score中插入数据,也能通过。0: jdbc:hive2://node1:10000> insert into student values (7,"aa",24);0: jdbc:hive2://node1:10000> insert into score values (7,"bb",700);
测试登录user2，对“student”、“score”表有操作和修改权限，如下：
[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user2Enter password for jdbc:hive2://node1:10000: *** #密码随便输入0: jdbc:hive2://node1:10000> select * from student;
0: jdbc:hive2://node1:10000> select * from score;
#测试向“student”和“score”中插入数据，没有对应权限：0: jdbc:hive2://node1:10000> insert into table student values (8,"cc",25);Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [default/student] (state=42000,code=40000)0: jdbc:hive2://node1:10000> insert into table score values (8,"dd",800);Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [default/score] (state=42000,code=40000)
权限需求：对用户“user3”配置对“student”表中“id、name”两列有查询权限，其他列没有查询权限。
配置步骤如下：
1）在node1节点中添加用户“user3”
#创建两个用户user3[root@node1 ~]# useradd user3[root@node1 ~]# passwd user3
2）给用户“user3”配置表“student”的访问权限
3）测试
#user3登录beeline[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user3#访问表“student”数据，“age”列无法查询，select * 查询不允许0: jdbc:hive2://node1:10000> select id ,name from student;
权限需求：对用户“user1”访问表“student”时，“age”列进行空值输出，进行脱敏。
配置步骤如下：
1）给用户“user1”配置表“student”的“Masking”访问权限
2）登录Hive Beeline测试
[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user10: jdbc:hive2://node1:10000> select * from student;
权限需求：对用户“user2”访问表“student”时，“age”列只能插叙小于等于20的行数据。
配置步骤如下：
1）给用户“user1”配置表“student”的“Masking”访问权限
2）登录Hive Beeline测试
[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user2#查询只有3行满足条件的数据0: jdbc:hive2://node1:10000> select * from student;
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
版权归原作者 Lansonli 所有， 如有侵权，请联系我们删除。