HDFS的读写流程（详解）

概述
HDFS（hadoop Distributed File System）是GFS的开源实现。


HDFS的优缺点
1、优点


因为有多个副本，可以保证数据可靠，容错性高
计算向数据移动，适用于批处理
适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点
可以构建在廉价机器上，通过多副本提高可靠性
2、缺点


不支持低延迟的数据访问，无法再毫秒之内返回结果
小文件对于HDFS是致命的，会占用大量的NameNode的存储空间
并发写入和文件随机修改困难，因为它一个文件在同一时刻只能有一个写入者，而且只支持append
HDFS的写流程

写流程如下：
　　1、客户端访问NameNode，NameNode检查路径和权限，如果路径中有与要上传的文件重名的文件就不能上传了，不能覆盖，如果没有才创建，创建名为file.copying的临时文件；
　　2、NameNode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上，然后再另外挑两台服务器；如果在集群外，namenode会根据策略先找一个机架选出一个datanode，然后再从另外的机架选出另外两个datanode，然后namenode会将选出的三个datanode按距离组建一个顺序，然后将顺序返回给客户端；
　　3、客户端会根据返回的三个节点和第一个节点建立一个socket连接（只会和第一个节点建立），第一个节点又会和第二个节点建立socket连接，由第二个节点又会和第三个节点建立一个socket连接，这种连接的方式叫Pipeline；
　　4、客户端会将block切分成package（默认是64kB），以流式在pipeline中传输
好处：
　　　（1）速度快：时间线重叠（其实流式也是一种变异的并行）；
　　　（2）客户端简单：副本的概念是透明的；
　　5、由DataNode完成接收block块后，block的metadata（MD5校验用）通过一个心跳将信息汇报给NameNode；
　　6、如果再pipeline传输中，任意节点失败，上游节点直接连接失败节点的下游节点继续传输，最终在第5步汇报后，NameNode会发现副本数不足，一定会出发DataNode复制更多副本，客户端Client副本透明；
　　7、client一直重复以上操作，逐一将block块上传，同时DataNode汇报block的位置信息，时间线重叠；
　　8、最终，如果NameNode收到了DataNode汇报的所有块的信息，将文件的.copying去掉，文件可用。


HDFS的读流程



读流程如下：
　　我们先说一个语义：下载回这个文件。换句话说就是取回这个文件的所有的块，那么当有能力取回文件的所有块的时候，那么它的子集操作就是取回其中某些块或者某个块也能实现。所以我们先来看取回文件的所有块的流程是怎么实现的：
　1、客户端和NameNode建立连接，获取文件block的位置信息（fileBlockLocations）
　2、客户端根据自己想要获取的数据位置挑选需要连接的DataNode（如果全文下载，从0开始；如果是从某一位置开始，客户端需要给出）
需要用inputstream.seek(long)//从什么位置开始读取，和哪个DataNode开始连接获取block；
　3、距离的概念：只有文件系统在读流程中附加距离优先的概念，计算层才能够被动实现计算向数据移动，距离有以下三种：
　　（1）本地，最近的距离；
　　（2）同机架，次之的距离；
　　（3）other（数据中心），最远的距离；
　4、客户端下载完成block后会验证DataNode中的MD5，保证块数据的完整性。
————————————————
版权声明：本文为CSDN博主「Tupac.Amaru.Shakur」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/SlimShadyKe/article/details/89763113