汇商网 科技与电子产品领域信息大全

hdfs文件读的过程

HDFS读取数据流程是什么 

HDFS读取数据流程如下:

1. 客户端向NameNode发起文件下载请求。

2. NameNode返回文件存储所在的DataNode块信息。

3. 客户端根据拿到的block信息与距离最近的切片所在DataNode建立通信通道,获取文件切片。

4. DataNode将该节点上的切片信息传输给客户端。

5. 如果没有获取到所有的切片信息,再与距离最近其他切片副本所在的DataNode建立通信通道,获取该节点的切片。如此重复,直到获取到所有的切片信息。

6. 客户端拿到所有切片后,将切片组装为完整的文件。

需要注意的是,文件切片在DataNode上的存储方式与机架感知副本存储机制有关,具体存储在几个DataNode上,每个DataNode存储几个副本。机架感知副本存储基本原则包括:第一个副本在client所处的节点上,如果客户端在集群外,随机选一个;第二个副本和第一个副本位于相同机架,随机节点。

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除