第三章 shell命令操作HDFS-常用HDFS管理命令


管理命令

查看hdfs所有管理命令

hdfs dfsadmin

查看命令用法

hdfs dfsadmin -help

安全模式相关练习实践

首先要启动hdfs: start-dfs.sh

hdfs dfsadmin -safemode enter 进入安全模式

hdfs dfsadmin -safemode get 获取状态

hdfs dfsadmin -safemode wait

hdfs dfsadmin -safemode leave 退出

快照相关练习实验

url

Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复、防止用户错误性的操作

快照是对文件数据进行保护的措施,可以对错误操作恢复数据。只能在允许的路径上创建快照,子路径也不可以。创建快照的路径不可以删除

开启

hdfs dfsadmin -allowSnapshot

关闭

hdfs dfsadmin -disallowSnapshot

hdfs dfsadmin -allowSnapshot /001/mydemo

hdfs dfsadmin -disallowSnapshot /001/mydemo

创建并命名

hdfs dfs -createSnapshot hdfs路径 名字

删除

hdfs dfs -deleteSnapshot hdfs路径 名字

重命名

hdfs dfs -renameSnapshot hdfs路径 oldname newname

查看所有快照

hdfs lsSnapshottableDir

查看某一个具体快照

创建快照时候,默认的文件夹是.snapshot 查看时候必须加上.snapshot才能看到里面备份的东西

hdfs dfs -ls 路径/.snapshot/

YvvR2D.png

快照对比

1
2
3
hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>
例如:
执行命令 hdfs snapshotDiff /Workspace/linlin bak1 bak2
YvvbPf.png

配额

HDFS允许管理员给私人目录设置其下面文件夹和文件的总数量配额,或空间使用总量配额。所以HDFS配额的对象是目录,而非用户。如果需要实现用户级别的配额,则需要采用第三方系统进行逻辑管理并映射到文件夹配额。

文件配额

文件数配额指的是可以限制当前文件夹下,所有文件和文件夹的总数量

1
2
3
4
-- 创建
hdfs dfsadmin -setQuota <quota> <dirname>...<dirname>
--删除
hdfs dfsadmin -clrQuota <directory>...<directory>

hdfs dfsadmin -setQuota 3 /001/mydemo3

空间配额

空间配额指的是可以限制当前文件夹下,所有文件(包含子文件夹中的数据文件,会递归的去统计)的总大小

1
hdfs dfsadmin  -setSpaceQuota <quota> <dirname>...<dirname>

hdfs dfsadmin -setSpaceQuota 134217728 /mydemo4

报告文件系统的基本信息和统计信息

1
hdfs dfsadmin -report

查看拓扑实验

1
hdfs dfsadmin -printTopology

事常与人违,事总在人为

多少都是爱
0%