HDFS（Hadoop Distributed File System）是一個分布式文件系統，用于存儲大規模數據集。數據讀取和寫入過程如下：
- 寫入流程：
- 客戶端將要寫入的數據分成小的數據塊（通常大小為128MB或更大）。
- 客戶端將數據塊發送到HDFS的NameNode，NameNode負責管理文件系統的命名空間和數據塊的映射關系。
- NameNode根據數據塊的大小和數據塊的副本數（通常為3個）選擇合適的DataNode（存儲數據塊的節點）進行數據塊的寫入，同時告知客戶端寫入的位置。
- 客戶端將數據塊發送給選定的DataNode，并在DataNode上創建數據塊的副本，以提高數據的可靠性。
- DataNode將數據塊寫入本地磁盤，并向NameNode匯報寫入成功。
- 寫入完成后，客戶端會收到寫入成功的確認消息。
- 讀取流程：
- 客戶端向NameNode發送讀取請求，并指定要讀取的文件路徑。
- NameNode根據文件路徑獲取文件的元數據信息，包括文件的數據塊列表和數據塊的位置信息。
- NameNode返回元數據信息給客戶端，并告知客戶端可以從哪些DataNode讀取數據塊。
- 客戶端根據元數據信息選擇一個DataNode進行數據塊的讀取。
- 客戶端從選定的DataNode讀取數據塊，并根據需要從其他DataNode獲取數據塊的副本，以提高讀取性能和可靠性。
- 客戶端將讀取的數據塊合并成完整的文件，并返回給用戶或繼續進行其他操作。
