Debian系統Hadoop安裝步驟

在Debian系統上安裝Hadoop的步驟如下：

1. 環境準備

• 操作系統要求：確保你的系統是Debian，并且已經更新到最新版本。
• 軟件依賴：安裝Java Development Kit (JDK) 1.8或更高版本，以及SSH服務用于節點間的通信。

2. 下載Hadoop

• 訪問Hadoop官網，點擊“Download”進入下載頁面。
• 推薦下載最新穩定版，例如Hadoop 3.3.1。
• 下載對應的tar.gz文件并保存到本地。

3. 安裝Hadoop

• 解壓下載的Hadoop文件：

  tar -xzvf hadoop-3.3.1.tar.gz
  

• 將解壓后的目錄移動到合適的安裝位置，例如/usr/local/hadoop：

  sudo mv hadoop-3.3.1 /usr/local/hadoop
  

• 配置環境變量：
  • 編輯~/.bashrc文件，添加以下內容：

    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

  • 使配置生效：

    source ~/.bashrc
    

4. 配置Hadoop

• 在Hadoop目錄下，編輯以下配置文件：
  • core-site.xml：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://namenode:9000</value>
        </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/dfs/data</value>
        </property>
    </configuration>
    

  • mapred-site.xml：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

  • yarn-site.xml：

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>
    

5. 格式化HDFS

在NameNode上運行以下命令格式化HDFS：

hdfs namenode -format

6. 啟動Hadoop服務

在NameNode上啟動Hadoop的NameNode和DataNode：

start-dfs.sh

在ResourceManager上啟動YARN：

start-yarn.sh

7. 驗證安裝

• 檢查Hadoop版本：

  hadoop version
  

• 運行一個簡單的WordCount示例來驗證安裝是否成功。

以上步驟應該能幫助你在Debian系統上成功安裝Hadoop。如果在安裝過程中遇到任何問題，請檢查日志文件以獲取更多信息。