Ubuntu HDFS集群怎樣搭建

以下是在Ubuntu上搭建HDFS集群的步驟：

1. 安裝Java：使用sudo apt update和sudo apt install openjdk-8-jdk安裝OpenJDK 8，并通過java -version驗證安裝。
2. 配置主機名和IP映射：在每臺服務器上使用sudo nano /etc/hostname設置主機名，在/etc/hosts中添加主機名和IP的映射關系。
3. 安裝和配置SSH：安裝OpenSSH Server，生成SSH密鑰對，并將公鑰復制到其他節點，實現免密登錄。
4. 下載和解壓Hadoop：從Apache官網下載Hadoop安裝包，如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，然后解壓到指定目錄。
5. 配置Hadoop環境變量：編輯~/.bashrc或/etc/profile，添加export HADOOP_HOME=/path/to/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，并使用source命令使配置生效。
6. 修改Hadoop配置文件：
   • core-site.xml：設置fs.defaultFS為hdfs://主機名:9000，指定hadoop.tmp.dir。
   • hdfs-site.xml：配置dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir等屬性。
   • yarn-site.xml：設置yarn.nodemanager.aux - services為mapreduce_shuffle，指定yarn.resourcemanager.hostname。
7. 配置slaves文件：在主節點的$HADOOP_HOME/etc/hadoop/slaves文件中添加所有DataNode的主機名。
8. 格式化NameNode：在主節點上執行hdfs namenode -format，僅在首次啟動時執行。
9. 啟動集群：在主節點上運行start-dfs.sh和start-yarn.sh啟動HDFS和YARN服務。
10. 驗證集群：使用jps命令查看進程，訪問http://主節點IP:50070查看HDFS Web界面，確認集群狀態正常。