在CentOS上配置Hadoop分布式文件系統（HDFS）時，有幾個關鍵點需要注意：
- 環境準備：
- 安裝JDK：確保安裝了適當版本的JDK，因為Hadoop需要Java環境來運行。
- 配置靜態IP：為了避免IP地址變化導致的問題，建議配置靜態IP地址。
- 用戶權限：
- 創建普通用戶：建議創建一個普通用戶來操作Hadoop，以避免權限問題。
- 配置SSH免密登錄：為了方便管理，配置SSH免密登錄，這樣可以在不輸入密碼的情況下訪問其他節點。
- Hadoop安裝：
- 下載Hadoop：從官方網站下載對應版本的Hadoop安裝包。
- 解壓Hadoop：將下載的Hadoop包解壓到指定目錄。
- 配置環境變量：編輯
/etc/profile文件，添加Hadoop的路徑和庫路徑，然后執行source /etc/profile使配置生效。
- 配置Hadoop環境文件：
- core-site.xml：配置HDFS的默認文件系統和臨時目錄。
- hdfs-site.xml：配置數據塊大小、副本數等參數。
- mapred-site.xml和yarn-site.xml：配置MapReduce和YARN的相關參數。
- 格式化NameNode：
- 在啟動Hadoop集群之前，需要格式化NameNode。這是通過執行
hdfs namenode -format命令完成的。
- 啟動HDFS：
- 使用
start-dfs.sh腳本啟動HDFS集群。
- 常見問題排查：
- 權限問題：檢查Hadoop目錄和文件的權限設置。
- 文件屬主不一致：確保文件屬主與Hadoop進程的用戶一致。
- 安全模式：如果集群處于安全模式，需要退出安全模式才能進行寫操作。
- 日志分析：通過查看Hadoop的日志文件來排查問題。
- 系統優化：
- 根據業務需求和服務器配置合理設置HDFS的配置項，如
dfs.namenode.handler.count和dfs.datanode.handler.count等，以提高性能。
請注意，具體的配置步驟可能會根據Hadoop版本和具體需求有所不同。建議參考官方文檔或相關教程進行詳細配置。
