Ubuntu Hadoop 集群如何搭建

搭建Ubuntu Hadoop集群是一個復雜的過程，涉及多個步驟和組件。以下是一個詳細的步驟指南，幫助你在Ubuntu上搭建Hadoop集群：

1. 環境準備

• 硬件準備：確保你有足夠數量的計算機作為集群節點，每臺計算機都需要滿足一定的硬件要求，包括CPU、內存、硬盤和網絡連接。
• 軟件準備：安裝Ubuntu操作系統，并確保所有節點都運行相同版本的Ubuntu。

2. 網絡配置

• 修改主機名：在每臺節點上修改/etc/hostname文件中的機器名。
• 獲取IP：獲取每臺節點的IP地址。
• 添加IP和主機名的映射關系：修改每臺節點的/etc/hosts文件，添加上述IP和機器名的對應關系。

3. SSH無密碼登錄配置

• 生成密鑰：在Master節點上生成SSH密鑰對。
• 分發公鑰：將Master節點的公鑰分發到所有Slave節點，并在各節點上將公鑰加入授權。

4. 安裝Java環境

• 安裝JDK：使用以下命令安裝JDK 1.8：

  sudo apt-get update
  sudo apt-get install openjdk-8-jdk
  

• 配置Java環境變量：

  sudo nano /etc/profile
  

  在文件末尾添加以下內容：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  export PATH=$PATH:$JAVA_HOME/bin
  

  保存并關閉文件，然后運行以下命令使更改生效：

  source /etc/profile
  

5. 安裝Hadoop

• 下載Hadoop：從Hadoop官方網站下載最新版本的Hadoop。

  wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  

• 解壓Hadoop：

  sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local
  

• 配置Hadoop環境變量：

  sudo nano /etc/profile
  

  在文件末尾添加以下內容：

  export HADOOP_HOME=/usr/local/hadoop-3.3.1
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

  保存并關閉文件，然后運行以下命令使更改生效：

  source /etc/profile
  

6. 配置Hadoop

• 進入Hadoop目錄并編輯配置文件：

  cd /usr/local/hadoop-3.3.1/etc/hadoop
  

  • 編輯hadoop-env.sh文件：

    sudo nano hadoop-env.sh
    

    找到以下行并設置JAVA_HOME：

    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    

  • 編輯core-site.xml文件：

    sudo nano core-site.xml
    

    添加以下內容：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
    </configuration>
    

  • 編輯hdfs-site.xml文件：

    sudo nano hdfs-site.xml
    

    添加以下內容：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/data/datanode</value>
        </property>
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
    </configuration>
    

  • 編輯mapred-site.xml文件：

    sudo nano mapred-site.xml
    

    添加以下內容：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

  • 編輯yarn-site.xml文件：

    sudo nano yarn-site.xml
    

    添加以下內容：

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
    </configuration>
    

7. 格式化Hadoop文件系統

• 在終端中，運行以下命令以格式化Hadoop文件系統：

  hdfs namenode -format
  

8. 啟動Hadoop

• 在終端中，使用以下命令啟動Hadoop：

  start-all.sh
  

9. 驗證Hadoop安裝

• 在瀏覽器中訪問http://localhost:50070，如果能夠看到Hadoop集群的Web界面，則表示Hadoop安裝成功。

以上步驟提供了一個基本的Ubuntu Hadoop集群搭建流程。根據具體需求，可能還需要進行更多的配置和優化。