在CentOS上配置Hadoop HDFS的步驟如下：
-
安裝和配置JDK：
- 下載JDK安裝包（例如，jdk-8u212-linux-x64.tar.gz）并將其解壓到指定目錄（如/opt/modules）。
- 編輯/etc/profile文件，添加Java和Hadoop的環境變量，然后使配置生效。
-
配置SSH免密登錄：
- 生成SSH密鑰（ssh-keygen -t rsa），并將公鑰添加到本地authorized_keys文件中，以實現免密登錄。
-
下載和解壓Hadoop：
- 下載Hadoop安裝包（例如，hadoop-3.3.1.tar.gz）并解壓到指定目錄（如/opt/modules）。
-
配置Hadoop環境變量：
- 編輯/etc/profile文件，添加Hadoop的路徑和環境變量，然后使配置生效。
-
修改配置文件：
- 編輯core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件，配置HDFS和YARN的相關參數。
-
格式化NameNode：
- 在第一次啟動HDFS之前，需要格式化NameNode，命令為：
hdfs namenode -format。
-
啟動HDFS：
- 使用以下命令啟動HDFS：
sbin/start-dfs.sh
- 啟動YARN（如果需要）：
sbin/start-yarn.sh
```。
-
驗證配置：
- 使用
jps命令檢查Hadoop進程是否啟動成功。
- 通過Web界面（默認端口為50070）訪問HDFS的管理頁面，驗證配置是否成功。
這些步驟涵蓋了從安裝依賴到啟動服務的整個過程，確保在CentOS上成功配置Hadoop HDFS。
