在CentOS上優化HDFS讀寫性能可以通過以下幾個步驟進行：
1. 內存和CPU配置
- NameNode內存優化：對于Hadoop 2.x系列，可以在
hadoop-env.sh文件中設置HADOOP_NAMENODE_OPTS來調整NameNode的內存。對于Hadoop 3.x系列，可以利用內存自動分配特性，通過jmap -heap命令查看和調整NameNode和DataNode的內存占用。
- DataNode內存和CPU配置：為DataNode分配足夠的內存和CPU資源，建議預2~4個核給操作系統和其他進程，其余的核分配給YARN。
2. 磁盤I/O優化
- 增加磁盤數量：盡可能掛載較多的磁盤，以提高磁盤I/O吞吐率。
- 使用RAID配置：將多個磁盤配置為RAID 0或RAID 5，以提高讀寫性能。
3. 網絡優化
- 增加網絡帶寬：確保每個節點提供足夠的網絡帶寬，以支持數據傳輸和任務調度的需要。
- 網絡配置優化：優化網絡配置，減少網絡延遲和丟包。
4. HDFS配置參數調整
- 調整塊大小：根據工作負載調整塊大小，較大的塊可以提高讀取效率，但增加數據本地化難度。
- 副本數量：根據需求調整副本數，提高可靠性和讀取性能，但要考慮存儲成本。
- 避免小文件：小文件會增加NameNode負載，降低性能，應盡量避免。
- 數據本地性：通過增加DataNode數量，使數據塊盡可能存儲在客戶端附近，減少網絡傳輸。
5. 集群壓測
- 寫性能測試：通過關閉虛擬內存檢測，并向HDFS寫入多個大文件來測試寫性能。使用
TestDFSIO類運行測試，并分析網絡帶寬與實測速度的關系來確定性能瓶頸。
- 讀性能測試：對之前寫入的文件執行讀取操作，同樣使用
TestDFSIO類，測試完畢后清理測試數據。
6. 硬件升級
- 使用SSD：使用更快的CPU、內存、硬盤和網絡設備，特別是使用SSD替代HDD以提高I/O性能。
7. 集群高可用性配置
- 高可用性（HA）配置：配置兩個NameNode節點，一個處于Active狀態，另一個處于StandBy狀態，使用Zookeeper進行狀態監控和數據同步。
8. 回收站管理
- 啟用回收站：修改
core-site.xml中的fs.trash.interval和fs.trash.checkpoint.interval值來啟用和管理回收站功能，以保護數據不被誤刪除。
通過上述優化措施，可以顯著提升HDFS在CentOS上的讀寫性能。需要注意的是，不同的應用場景可能需要不同的優化策略，因此在實施優化措施時，應根據具體情況進行調整和測試。
