impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
虽然Hive系统也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,impala的最大特点也是最大卖点就是它的快速。
换句话说,impala是性能最高的SQL引擎,它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
场景案例
假如我们在hive中有一些数据希望通过impala查询,这时我们就需要把hive的数据同步到impala,每当hive表的数据或表结构发生变更,就需要对impala中的刷新元数据和刷新表。
使用方式
invalidate metadata
该命令是用于刷新全库或者某张表的元数据,包括表的元数据和表内的文件数据,执行这条命令时它会首先清除表的缓存,然后从metastore中重新加载全部数据并缓存,该操作代价比较繁重,主要用于在hive中修改了表的元数据,需要同步到impala,例如create table(创建表)、drop table(删除表)、alter table add columns(修改表结构)等。
如果只是涉及到表的数据改变,则不需要使用invalidate metadata 。而是使用refresh命令就可以了。
invalidate metadata 语法:
invalidate metadata //重新加载所有库中的所有表
invalidate metadata [table_name] //重新加载指定的某个库中某张表
注意:避免只是使用invalidate metadata,后面没有条件限制。如果没有条件限制,还不如重启catalog。
例如:
impala-shell -i node_name -q 'invalidate table_name'
refresh 命令是用于刷新某个表或者某个分区的数据信息,它会重用之前的表元数据,仅仅执行文件刷新操作,它能够检测到表中分区的增加和减少,主要用于表中元数据未修改,数据的修改,例如insert into(插入数据)、load data(加载数据)、alter table add partition(新增分区)、alter table drop partition(删除分区)等,如果直接修改表的hdfs文件(增加、删除或者重命名)也需要指定refresh刷新数据信息。
refresh 语法:
refresh [table_name] //刷新某个库中某张表
refresh [table_name] partition [partition] //刷新某个库中某张表的某个分区
例如:
impala-shell -i node_name -q 'refresh table_name'
总结:
如果在使用过程中涉及到了元数据或者数据的更新,则需要使用这两者其中一个操作来完成,从上面分析,我们知道invalidate metadata操作比refresh要重量级。
如果涉及到表的schema改变,使用invalidate metadata [table_name]
如果只是涉及到表的数据改变,使用refresh [table_name]
如果只是涉及到表的某一个分区数据改变,使用refresh [table_name] partition [partition]。
版权归原作者 AllenGd 所有, 如有侵权,请联系我们删除。