在CentOS上搭建HDFS集群需要經過以下幾個步驟：
1. 準備工作
- 創建虛擬機：下載CentOS鏡像并安裝虛擬機，建議配置適當的CPU、內存和磁盤空間。
- 網絡配置：設置虛擬機的網絡模式為NAT，并配置靜態IP地址和主機名。
2. 安裝JDK
- 上傳JDK：將JDK安裝包上傳到服務器。
- 解壓并配置環境變量：解壓JDK并配置環境變量，例如
JAVA_HOME和PATH。
3. 配置Hadoop環境
- 創建目錄：創建用于存放Hadoop文件的目錄，例如
/bigdata。
- 上傳Hadoop安裝包：將Hadoop安裝包上傳到服務器并解壓到指定目錄。
- 修改配置文件：
- hadoop-env.sh：設置
JAVA_HOME。
- core-site.xml：配置HDFS的默認文件系統和NameNode地址。
- hdfs-site.xml：配置HDFS副本數量和其他相關設置。
4. 集群搭建步驟
- 修改主機名和hosts映射：在每臺機器上修改主機名和
/etc/hosts文件中的IP地址映射。
- 配置時間同步：確保所有機器的時間同步，以避免時間差異導致的問題。
- 關閉防火墻：關閉防火墻以允許Hadoop服務通信。
- 配置免密登錄認證：配置免密登錄以便在集群節點之間無縫切換。
5. 啟動Hadoop服務
- 格式化NameNode：在NameNode上執行格式化命令。
- 啟動Hadoop服務：使用
start-dfs.sh和start-yarn.sh腳本啟動HDFS和YARN服務。
6. 驗證集群狀態
- 檢查HDFS狀態：使用
hdfs dfsadmin -report命令檢查HDFS集群的狀態，確保所有DataNode都正常運行。
請注意，以上步驟提供了一個基本的指南，具體配置可能會根據實際需求和環境有所不同。在實際操作中，還需要考慮安全性、網絡配置、數據備份等因素。此外，由于Hadoop和CentOS的版本不斷更新，建議查閱最新的官方文檔以獲取最準確的信息。
