Ubuntu HDFS集群搭建步驟詳解

搭建一個Ubuntu HDFS集群涉及多個步驟，從基礎安裝到配置各個服務，再到啟動集群。以下是一個詳細的步驟指南：

1. 基礎安裝

• 更新系統軟件包列表：

  sudo apt update
  

• 安裝必要的軟件包：

  sudo apt install vim ntpdate
  

2. 校準Linux系統時間

• 使用NTP服務校準系統時間：

  sudo ntpdate cn.pool.ntp.org
  

3. 創建Hadoop用戶

• 創建一個新用戶并賦予sudo權限：

  sudo adduser hadoop
  sudo vi /etc/sudoers
  # 將root那行復制后修改成hadoop,hadoop就有了root權限
  

4. 配置SSH免密登錄

• 生成SSH密鑰對：

  ssh-keygen
  

• 將公鑰復制到其他節點：

  ssh-copy-id (your-slave-ip1)
  ssh-copy-id (your-slave-ip2)
  ssh-copy-id (your-slave-ip3)
  

5. 安裝JDK

• 安裝OpenJDK 8：

  sudo apt-get install -y openjdk-8-jdk
  sudo update-java-alternatives --set java-1.8.0-openjdk
  java -version
  

• 配置Java環境變量：

  vi ~/.bashrc
  export JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-amd64
  export JRE_HOME ${JAVA_HOME}/jre
  export CLASSPATH .:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export PATH ${JAVA_HOME}/bin:$PATH
  source ~/.bashrc
  

6. 下載并解壓Hadoop

• 下載Hadoop 2.7.7安裝包：

  wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
  tar xvf hadoop-2.7.7.tar.gz
  

7. 配置Hadoop環境變量

• 編輯~/.bashrc文件，添加Hadoop環境變量：

  export HADOOP_HOME /home/hadoop/hadoop-2.7.7
  export PATH=$PATH:$HADOOP_HOME/bin
  source ~/.bashrc
  

8. 修改Hadoop配置文件

• 編輯core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/hdata</value>
      </property>
  </configuration>
  

• 編輯hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>2</value>
      </property>
      <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>(your-master-ip):50090</value>
      </property>
      <property>
          <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
          <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
      </property>
  </configuration>
  

• 編輯mapred-site.xml：

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>
  

• 編輯yarn-site.xml：

  <configuration>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>(your-master-ip)</value>
      </property>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  </configuration>
  

9. 格式化NameNode

• 格式化NameNode：

  hdfs namenode -format
  

10. 啟動HDFS集群

• 啟動HDFS服務：

  cd $HADOOP_HOME/sbin
  ./start-dfs.sh
  

11. 驗證集群狀態

• 使用以下命令檢查集群狀態：

  hdfs dfsadmin -report
  

• 訪問NameNode的Web界面：

  http://namenode-host:50070
  

注意事項

• 確保所有節點的配置文件一致。
• 檢查防火墻設置，確保Hadoop所需的端口（如9000、50070等）是開放的。
• 定期檢查和維護集群，確保所有組件正常運行。