博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 空间不足怎么办?
阅读量:5752 次
发布时间:2019-06-18

本文共 451 字,大约阅读时间需要 1 分钟。

  hot3.png

Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。

解决的办法,自然是清理空间。但是清理空间也要有步骤。

  • 检查总体情况

    $ hadoop dfsadmin -report

  • 检查每个目录

    $ hdfs dfs -du -h /

  • 清理

    • 一种是先清理数据表,去hive,impala里删除表

    但是这个并无法清理干净

    • 清理完表之后,删除文件

      删除的时候要注意使用-skipTrash选项,否则不会马上删除,而是转到垃圾桶了。

如何设置配额

hdfs空间不足,还可以给用户设置空间配额,避免每个用户占用的空间过大。具体命令如下

#设置配额    hdfs dfsadmin -setSpaceQuota 2G /user/tom#清除配额    hdfs dfsadmin -clrSpaceQuota /user/tom#察看配额    hdfs dfs -count -q -v  /user/tom

转载于:https://my.oschina.net/pearma/blog/892871

你可能感兴趣的文章
探索ASP.NET MVC5系列之~~~4.模型篇---包含模型常用特性和过度提交防御
查看>>
ios开发学习-指示器(HUD)效果源码分享
查看>>
Android -- sqlite数据库随apk发布
查看>>
使用log4net完成程序异常日志记录(使用SQLite数据库记录和普通文本记录)
查看>>
前端不可缺少强悍的兼容各大浏览器的简版firebug
查看>>
ASP.NET MVC之Session State性能问题(七)
查看>>
linuxserver启动过程
查看>>
对pgpool-II的child process的理解
查看>>
用C#实现实现简单的 Ping 的功能,用于测试网络是否已经联通
查看>>
"类型初始值设定项引发异常" 解决方法
查看>>
STL-priority_queue用法(重点: 升序,小根堆)
查看>>
iOS开发-UITableView顶部图片下拉放大
查看>>
C# 如何将字符串形式的” \\u1234 “ 为 “ \u1234” 的unicode编码解码为中文
查看>>
Hadoop下进行反向索引(Inverted Index)操作
查看>>
[职业生涯]美到极致是疯狂
查看>>
类装载器学习
查看>>
PostgreSQL在何处处理 sql查询之二十三
查看>>
利用OpenXml生成Word2007文档(转)
查看>>
Python Version 2.7 required which was not found in the registry
查看>>
Asp.net安全架构之1:xss(跨站脚本)
查看>>