Debian系統下Hadoop安裝步驟解析

在Debian系統下安裝Hadoop的步驟如下：

1. 環境準備：

• 確保你的系統是Debian，并且已經更新到最新版本。
• 安裝Java Development Kit (JDK) 1.8或更高版本，以及SSH服務用于節點間的通信。

2. 下載Hadoop：

• 訪問Hadoop官網，點擊“Download”進入下載頁面。
• 推薦下載最新穩定版，例如Hadoop 3.3.1。
• 下載對應的tar.gz文件并保存到本地。

3. 安裝Hadoop：

• 解壓下載的Hadoop文件：

tar -xzvf hadoop-3.3.1.tar.gz

• 將解壓后的目錄移動到合適的安裝位置，例如 /usr/local/hadoop ：

sudo mv hadoop-3.3.1 /usr/local/hadoop

• 配置環境變量：

echo 'export HADOOP_HOME=/usr/local/hadoop' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile

• 使配置生效：

source /etc/profile

4. 配置Hadoop：

• 在Hadoop目錄下，編輯以下配置文件：

  • core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

• hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

• mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5. 格式化HDFS：

• 在NameNode上運行以下命令格式化HDFS：

hdfs namenode -format

6. 啟動Hadoop服務：

• 在NameNode上啟動Hadoop的NameNode和DataNode：

start-dfs.sh

• 在ResourceManager上啟動YARN：

start-yarn.sh

7. 驗證安裝：

• 檢查Hadoop版本：

hadoop version

• 運行一個簡單的WordCount示例來驗證安裝是否成功。

如果在安裝過程中遇到任何問題，請檢查日志文件以獲取更多信息。