Hadoop HDFS基本結構是怎樣的

# Hadoop HDFS基本結構是怎樣的

## 一、HDFS概述

Hadoop分布式文件系統（Hadoop Distributed File System，簡稱HDFS）是Apache Hadoop項目的核心組件之一，專為存儲超大規模數據集（TB級甚至PB級）而設計。其核心設計理念源自Google的GFS論文，具有高容錯、高吞吐量、低成本部署等特點。

## 二、HDFS架構設計

### 1. 主從架構模型
HDFS采用經典的主從（Master/Slave）架構：
- **NameNode（主節點）**：負責管理文件系統的命名空間（Namespace）和客戶端訪問
- **DataNode（從節點）**：存儲實際數據塊的節點集群

### 2. 核心組件功能
| 組件        | 主要職責                                                                 |
|-------------|--------------------------------------------------------------------------|
| NameNode    | 維護文件系統樹和所有文件的元數據（inode信息、塊映射表等）                |
| DataNode    | 存儲實際數據塊，定期向NameNode發送心跳和塊報告                           |
| Secondary NameNode | 執行檢查點操作（非熱備節點）                                      |
| Client      | 與HDFS交互的終端用戶或應用程序                                          |

## 三、物理存儲結構

### 1. 數據分塊機制
- 文件被分割為固定大小的**塊（Block）**（默認128MB，可配置）
- 每個塊獨立存儲，支持并行處理
- 塊大小遠大于傳統文件系統，減少尋址開銷

### 2. 多副本存儲
```python
# 副本放置策略示例（默認3副本）：
1. 第一個副本：寫入客戶端所在節點（若為集群外則隨機選擇）
2. 第二個副本：不同機架的隨機節點
3. 第三個副本：與第二副本同機架的不同節點

3. 存儲目錄結構

DataNode數據目錄典型結構：

/hdfs/data/
├── current/
│   ├── BP-19354842-10.0.0.1-1434536125432/
│   │   ├── finalized/      # 已提交的塊文件
│   │   └── rbw/           # 臨時寫入中的塊
└── in_use.lock            # 進程鎖文件

四、邏輯命名空間

1. 文件系統層次

• 類Unix的層級目錄結構
• 支持常規文件操作（create/delete/move等）

2. 元數據管理

NameNode內存中維護兩個關鍵數據結構： - FsImage：完整的命名空間鏡像（定期持久化到磁盤） - EditLog：記錄所有更改操作的日志（先寫日志機制）

五、高可用機制

1. NameNode HA方案

• 主備NameNode：通過ZooKeeper實現故障自動轉移
• 共享存儲：使用QJM（Quorum Journal Manager）維護EditLog一致性

2. 數據可靠性保障

• 副本自動修復（損壞檢測→重新復制）
• 機架感知（Rack Awareness）策略
• 校驗和（Checksum）驗證機制

六、讀寫流程解析

1. 文件寫入流程

1. Client切分文件為多個塊
2. 從NameNode獲取DataNode列表
3. 建立管道（Pipeline）順序寫入
4. 接收確認后提交元數據

sequenceDiagram
    Client->>NameNode: 創建文件請求
    NameNode->>Client: 返回分配列表
    Client->>DataNode1: 發送數據包
    DataNode1->>DataNode2: 轉發數據
    DataNode2->>DataNode3: 轉發數據
    DataNode3->>DataNode2: 確認回執
    DataNode2->>DataNode1: 確認回執
    DataNode1->>Client: 寫入完成確認

2. 文件讀取流程

1. Client向NameNode獲取塊位置信息
2. 直接從最近的DataNode讀取數據
3. 校驗數據完整性

七、關鍵設計特點

1. 適合大文件：高吞吐量但高延遲
2. 流式訪問：”一次寫入多次讀取”模型
3. 硬件容錯：自動處理節點故障
4. 移動計算而非數據：支持數據本地化計算

八、典型應用場景

• 海量日志存儲分析
• 數據倉庫基礎存儲
• 機器學習訓練數據池
• 視頻/圖片等非結構化數據存儲

注意：HDFS不適合需要低延遲訪問、大量小文件存儲或頻繁修改的場景。

九、演進與發展

隨著Hadoop 3.x的發布，HDFS新增了： - Erasure Coding（糾刪碼）存儲策略 - 基于Router的聯邦架構 - 支持多個NameService的視圖聯邦

未來HDFS將繼續向更高性能、更強一致性和云原生支持方向演進。 “`

（注：實際使用時需補充示意圖鏈接或替換為本地圖片路徑，本文約1200字）