使用该命令查看HDFS中文件占用的大小，发现/tmp目录占用较大

当向HDFS上写文件时，可以通过设置dfs.blocksize配置项来设置文件的blocksize，这导致HDFS上不同文件的blocksize是不同的。有时候我们需要知道HDFS上某个文件的blocksize，比如想知道该该文件作为job的输入会创建几个map等...

这种情况比较复杂!如果文件小于MB，存储按该文件的块大小等于该文件的大小。读取时是根据存在namenode上面的映射表来读取的。按实际存储的大小来读取，不是从硬盘上面读取的，是从HDFS上面读取的。另外，在文件上传时，就会...

使用hdfs--help找到对应的fsck命令,解释说fsck是运行一个分布式文件系统的检查工具。fsck的功能是很强大的，可以显示一个存储在hdfs上面的文件的很多详细的存储信息。例如文件大小，文件被分为几个block了,文件的副本数，...

HDFS上每个数据节点最多能存储多少数据取决于节点的硬盘大小。对于单个节点来说，其存储的容量为磁盘容量减去hdfs-site.xml配置文件中dfs.datanode.du.reserved参数值。对于集群来说，取决于集群中所有DataNode节点的硬盘...

小文件是指文件大小明显小于HDFS上块（block）大小（默认MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（Ifyou’restoringsmallfiles,thenyouprobablyhavelotsofthem(...

首先hdfs是建立在多个机器文件系统上的一个逻辑上的文件系统。它的底层数据以数据块方式存储，块大小可进行调整。假如你设置一个数据块大小为256M，上传一个1G的文件，它底层会将这个文件分成4块存储，每个块256M。你在hdfs...

块的大小设置原则：最小化寻址开销。HDFS的块比磁盘的块大(磁盘的块一般为512字节)，其目的是为了最小化寻址开销然而真正实际开发中要把block设置的远大于128MB，比如存储文件是1TB时，一般把Block大小设置成512MB....

通过“-cat文件名”命令查看HDFS下文件夹中某个文件的内容命令格式:hadoop$bin/hadoopdfs-cat文件名通过这个命令可以查看in文件夹中所有文件的内容通过“-get文件按1文件2”命令将HDFS中某目录下的文件复制到本地系统的...

如果edits文件非常大,那么这个合并过程就非常慢,导致HDFS长时间无法启动,如果定时将edits文件合并到fsimage,那么重启NameNode就可以非常快。SecondaryNameNode就做这个合并的工作。6、hdfs的回收站功能删除文件时,其实是放入回收站/trash...