HDFS读写流程详解

HDFS（Hadoop分布式文件系统）的读写流程设计体现了其高容错、高吞吐量的特点。以下是核心流程解析：

---

一、HDFS 写流程（客户端写入数据）

1. 客户端发起请求

• 客户端调用FileSystem.create()方法，通过HDFS Client向 NameNode 发起文件创建请求。
• NameNode 检查目标文件是否存在、客户端是否有权限，并记录文件元数据（不包含数据块位置）。

2. 数据管道建立

• NameNode 根据副本数（默认3）和机架感知策略，返回一组DataNode列表（如：DN1、DN2、DN3），形成写入管道（Pipeline）。
• 客户端将数据按块（Block，默认128MB）切分，写入本地缓存，然后通过DFSOutputStream向管道写入。

3. 数据包传输

• 数据被分成多个Packet（64KB），依次发送到管道：
  1. 客户端发送 Packet 给第一个 DN1；
  2. DN1 接收后传给 DN2，同时保存到本地；
  3. DN2 同理传给 DN3，形成流水线复制。
• 每个 DataNode 写入成功后，会向上游返回ACK 确认。

4. 容错处理

• 若管道中某个 DataNode 失败：
  • 管道关闭，剩余正常节点完成当前写入。
  • NameNode 重新分配新节点，恢复管道继续写入。
  • 已写入的块会被异步复制到满足副本数要求。

5. 完成写入

• 所有数据块写入完成后，客户端通知 NameNode提交文件，NameNode 更新元数据（记录块与 DataNode 的映射）。
• 若客户端不主动关闭，NameNode 不会认为文件已完成。

---

二、HDFS 读流程（客户端读取数据）

1. 客户端发起请求

• 客户端调用FileSystem.open()，向 NameNode 请求文件元数据。
• NameNode 返回文件的所有块列表，以及每个块的副本所在 DataNode 地址（按网络拓扑排序，优先返回最近节点）。

2. 并行读取

• 客户端通过DFSInputStream按顺序读取块：
  • 直接连接最近的 DataNode读取第一个块。
  • 读取完成后，断开连接，再读取下一个块（可能从不同 DataNode）。
• 数据以Packet 为单位流式传输，客户端边收边处理。

3. 容错机制

• 若读取时遇到 DataNode 故障或数据损坏：
  • 客户端尝试从该块的其他副本节点读取。
  • 报告 NameNode 标记问题块，触发后续修复。

4. 关闭连接

• 所有块读取完成后，客户端关闭输入流。

---

三、核心设计要点

特性	写入流程	读取流程
数据流动	流水线复制（Pipeline）	直接访问 DataNode
网络优化	机架感知（就近写入）	就近读取
容错	管道重建、副本恢复	自动切换副本
元数据交互	仅开始和结束联系 NameNode	仅开始获取块位置

---

四、示例命令

# 写入文件hadoop fs -put localfile /hdfs/path/# 读取文件hadoop fs -get /hdfs/path/file localdir

五、总结

• 写流程：通过数据管道实现高效副本写入，由客户端驱动，NameNode 只协调初始布局。
• 读流程：客户端直连 DataNode，NameNode 仅提供块位置，避免成为瓶颈。
• 关键思想：移动计算而非数据（读时就近）、一次写入多次读取（写流程优化为顺序写入）。