Hive分区修复命令MSCK介绍与使用

我们在使用Hive的时候肯定遇到过建立了一张分区表,然后手动(比如使用 cp 或者 mv )将分区数据拷贝到刚刚新建的表作为数据初始化的手段;但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面,这样才能供我们查询使用,我们一般会想到使用 alter table add partition 命令手动添加分区,但是如果初始化的分区太多,这样一条一条地手动添加分区不免过于麻烦(虽然我们可以写个脚本生成添加分区的命令)。今天我将给大家介绍的命令可以只使用一次即可添加全部的分区,如下:
MSCK REPAIR TABLE table_name; 

运行上面的命令后,Hive会检测HDFS目录下存在但表的metastore中不存在的partition元信息,然后更新到metastore中。

下面我来介绍如何使用这个命令,我新建了名为 temp.iteblog_hadoop 的表,然后手动 mv 了几个目录的数据到这个表数据目录下,这几个手动添加的目录在hive中目前肯定无法被查询到,所以我可以使用下面的命令来识别这些分区:

hive> show partitions temp.iteblog_hadoop;
OK
Time taken: 1.491 seconds
hive> MSCK REPAIR TABLE temp.iteblog_hadoop;
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 11595
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 23861
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 784358
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 2396891
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 2234631
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 36621058
17/02/21 16:07:15 WARN log: Updating partition stats fast for: iteblog_hadoop
17/02/21 16:07:15 WARN log: Updated size to 21093250
OK
Partitions not in metastore:    iteblog_hadoop:dt=2017-02-15    iteblog_hadoop:dt=2017-02-16    iteblog_hadoop:dt=2017-02-17    iteblog_hadoop:dt=2017-02-18    iteblog_hadoop:dt=2017-02-19    iteblog_hadoop:dt=2017-02-20    iteblog_hadoop:dt=2017-02-21
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-15
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-16
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-17
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-18
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-19
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-20
Repair: Added partition to metastore temp.iteblog_hadoop:dt=2017-02-21
Time taken: 0.575 seconds, Fetched 8 row(s)
从上面的命令可以看出,已经将所有的分区加入到Hive的metastore了,是不是很方便啊。

:为了让 MSCK 命令工作,分区的目录名必须是 /partition_name=partition_value/结构的,否则将无法添加分区。这时候你必须使用add partition命令了。

https://www.iteblog.com/archives/2035.html

本站公众号
   欢迎关注本站公众号,获取更多程序园信息
开发小院