CentOS中HDFS集群搭建步驟是什么

以下是在CentOS中搭建HDFS集群的基本步驟：

1. 環境準備：
   • 安裝Java：使用yum install -y java-1.8.0-openjdk-devel安裝JDK 8。
   • 配置主機名和靜態IP：使用hostnamectl設置主機名，編輯網絡配置文件配置靜態IP。
   • 配置SSH免密登錄：使用ssh-keygen -t rsa生成密鑰，ssh-copy-id復制公鑰到其他節點。
2. 安裝Hadoop：
   • 下載Hadoop：從官網下載對應版本的安裝包，如wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz。
   • 解壓Hadoop：tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/，并重命名目錄。
3. 配置環境變量：編輯/etc/profile.d/hadoop.sh，添加JAVA_HOME、HADOOP_HOME和PATH變量，然后執行source /etc/profile.d/hadoop.sh使配置生效。
4. 配置Hadoop：
   • 編輯core-site.xml，設置fs.defaultFS為hdfs://namenode_hostname:9000。
   • 編輯hdfs-site.xml，配置dfs.replication、dfs.namenode.name.dir和dfs.datanode.data.dir等參數。
   • 編輯mapred-site.xml和yarn-site.xml，配置MapReduce和YARN相關參數。
5. 格式化NameNode：在NameNode節點上執行hdfs namenode -format。
6. 啟動HDFS集群：在NameNode節點上執行start-dfs.sh。
7. 驗證集群狀態：使用jps檢查進程，訪問http://namenode_hostname:50070查看Web界面。

若需配置高可用，還需配置Zookeeper集群、修改相關配置文件并啟動JournalNode等。