HDFS（Hadoop Distributed File System）是一個分布式文件系統，設計用于存儲和管理大規模數據集，特別適用于大數據處理場景。HDFS本身并不直接支持多種數據格式，但它支持多種文件格式和存儲格式，使得它能夠與多種數據處理框架和應用場景兼容。以下是HDFS支持的主要文件格式和存儲格式：
HDFS支持的文件格式和存儲格式
- SequenceFile：以二進制鍵值對的形式存儲數據，支持三種記錄存儲方式：無壓縮、記錄級壓縮、塊級壓縮。
- Avro：將數據定義和數據一起存儲在一條消息中，其中數據定義以JSON格式存儲，數據以二進制格式存儲。
- RCFile：以列格式保存每個行組數據。
- Parquet：Hadoop的一種列存儲格式，提供了高效的編碼和壓縮方案。
- 文本文件（Text File）：行式文本文件，通常按照行存儲，以回車換行符區分不同的行數據。
- ORC File：提供比RC File更有效的文件格式，內部將數據劃分為Stripe，每個條帶均包括索引、數據和頁腳。
- Parquet File：面向分析性業務的列式存儲方式，支持塊壓縮。
HDFS支持的壓縮算法
- GZip：壓縮率高，壓縮/解壓速度快，但不支持split。
- BZip2：支持split，具有很高的壓縮率，但不支持native，壓縮/解壓速度慢。
- LZO：壓縮/解壓速度快，壓縮率合理，支持split，是Hadoop中最流行的壓縮格式。
- Snappy：高速壓縮速度和合理的壓縮率，不支持split，壓縮率比gzip要低。
HDFS的數據訪問協議
- HDFS API：Hadoop自身提供的用于訪問HDFS文件系統的API，支持Java編程語言。
- WebHDFS API：基于HTTP的協議，允許用戶通過瀏覽器或命令行工具訪問HDFS文件系統。
- Thrift API：Facebook開源的高性能、跨語言的服務定義框架，HDFS支持Thrift API。
- Java Native Interface (JNI)：允許Java代碼調用本地代碼，也可以通過JNI訪問HDFS文件系統。
- REST API：基于REST的API，可以通過HTTP請求來訪問文件系統。
通過這些特性，HDFS能夠支持多種數據格式和存儲策略，使其成為大數據處理和分析的理想選擇。
