相关命令
常用命令
之前已经写过,有两种形式执行命令 hadoop fs 命令
和 hdfs dfs 命令
,这两种写法的效果完全一样
put
该命令用于上传linux本地文件或linux本地目录到HDFS目录
hdfs dfs -put linux文件或目录 HDFS目标位置
ls
该命令用于列出HDFS文件或目录
hdfs dfs -ls HDFS目标位置
cat
该命令用于输出HDFS文件内容
hdfs dfs -cat HDFS文件
get
该命令用于下载HDFS文件或目录到本地
hdfs dfs -get HDFS文件或目录 linux本地目录
mkdir
在HDFS系统中,创建文件夹
hdfs dfs -mkdir 文件名
cp
在HDFS系统中,复制
hdfs dfs -cp HDFS源文件 HDFS目标文件或目标文件夹
mv
在HDFS系统中,移动或重命名
hdfs dfs -mv HDFS源文件 HDFS重命名文件或移动至目标文件夹
rm
在HDFS系统中,删除文件或递归删除目录
hdfs dfs -rm HDFS文件
hdfs dfs -rm -r HDFS文件夹
chmod、chgrp、chown
和Linux中作用一样
在HDFS系统中,设置读写执行权限
hdfs dfs -chmod 777 HDFS文件
tail
显示一个文件的末尾1KB的数据
hdfs dfs -tail HDFS文件
du
统计文件夹的大小信息
如下命令会展示出该文件夹大小和所有副本共计大小
hadoop fs -du -s -h HDFS文件夹
如下命令会展示出该文件夹下所有文件和所有文件的所有副本占用大小情况
hadoop fs -du -h HDFS文件夹
setrep
设置HDFS系统中文件的副本数量
hadoop fs -setrep 副本数量 HDFS文件
这里设置的副本数只是记录在 NameNode
的元数据中,是否真的会有这么多副本,还得看 DataNode
的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到指定副本数量时,副本数才能达到指定副本数量。
其他命令
moveFromLocal
在Linux本地剪切,粘贴到HDFS系统中(粘贴后,本地内容会消失)
hadoop fs -moveFromLocal Linux本地文件 HDFS文件夹
hadoop fs -moveFromLocal Linux本地文件夹/ HDFS文件夹
copyFromLocal
等同于put,人们更习惯用put
在Linux本地复制,粘贴到HDFS系统中
hadoop fs -copyFromLocal Linux本地文件 HDFS文件夹
hadoop fs -copyFromLocal Linux本地文件夹/ HDFS文件夹
appendToFile
将一个文件里的内容,追加到另一个文件的内容底部
hadoop fs -appendToFile Linux本地文件 HDFS文件
copyToLocal
从HDFS系统中拷贝到本地
hadoop fs -copyToLocal HDFS文件 Linux本地文件夹
hadoop fs -copyToLocal HDFS文件夹/ Linux本地文件夹