Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。
解决的办法,自然是清理空间。但是清理空间也要有步骤。
-
检查总体情况
$ hadoop dfsadmin -report
-
检查每个目录
$ hdfs dfs -du -h /
-
清理
- 一种是先清理数据表,去hive,impala里删除表
但是这个并无法清理干净
-
清理完表之后,删除文件
删除的时候要注意使用-skipTrash选项,否则不会马上删除,而是转到垃圾桶了。
如何设置配额
hdfs空间不足,还可以给用户设置空间配额,避免每个用户占用的空间过大。具体命令如下
#设置配额 hdfs dfsadmin -setSpaceQuota 2G /user/tom#清除配额 hdfs dfsadmin -clrSpaceQuota /user/tom#察看配额 hdfs dfs -count -q -v /user/tom