本文目录一览：
HDFS 上每个数据节点最多能存多少，多大的数据
HDFS上每个数据节点最多能存储多少数据取决于节点的硬盘大小。对于单个节点来说，其存储的容量为磁盘容量减去hdfs-site.xml配置文件中dfs.datanode.du.reserved参数值。对于集群来说，取决于集群中所有DataNode节点的硬盘大小之和。但是需要注意考虑集群的备份数量，假设备份数量为3，集群总容量为3TB,则实际可以存储1TB的文件。
Hadoop HDFS处理大量的小文件
小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them
(otherwise you wouldn’t turn to Hadoop)），这样的文件给hadoop的扩展性和性能带来严重问题。当一个文件的大小小于HDFS的块大小（默认64MB），就将认定为小文件否则就是大文件。为了检测输入文件的大小，可以浏览Hadoop DFS 主页 ，并点击Browse filesystem（浏览文件系统）。-hdfs将要存储的大文件
首先，在HDFS中，任何一个文件，目录或者block在NameNode节点的内存中均以一个对象表示（元数据）（Every file, directory and block in HDFS is represented as an object in the namenode’s memory），而这受到NameNode物理内存容量的限制。每个元数据对象约占150byte，所以如果有1千万个小文件，每个文件占用一个block，则NameNode大约需要15G空间。如果存储1亿个文件，则NameNode需要150G空间，这毫无疑问1亿个小文件是不可取的。-hdfs将要存储的大文件
其次，处理小文件并非Hadoop的设计目标，HDFS的设计目标是流式访问大数据集（TB级别）。因而，在HDFS中存储大量小文件是很低效的。访问大量小文件经常会导致大量的寻找，以及不断的从一个DatanNde跳到另一个DataNode去检索小文件（Reading through small files normally causes lots of seeks and lots of hopping from datanode to datanode to retrieve each small file），这都不是一个很有效的访问模式，严重影响性能。-hdfs将要存储的大文件
最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。
Hadoop存档文件系统通常将HDFS中的多个文件打包成一个存档文件，减少namenode内存的使用
hadoop archive命令创建HAR文件
from：
hdfs适合存储多大的单个文件
首先hdfs是建立在多个机器文件系统上的一个逻辑上的文件系统。它的底层数据以数据块方式存储，块大小可进行调整。
假如你设置一个数据块大小为256M，上传一个1G的文件，它底层会将这个文件分成4块存储，每个块256M。你在hdfs上看到的是一个完整的文件，随时可对这个文件进行操作，无需关注它的存储。就像你在操作系统上操作文件一样，无需关注它存在那个磁盘哪个扇区-hdfs将要存储的大文件
