Hadoop 在 Ubuntu 上如何配置

在Ubuntu上配置Hadoop是一個相對復雜的過程，涉及多個步驟。以下是一個詳細的指南，幫助你在Ubuntu系統上安裝和配置Hadoop。

環境準備

1. 操作系統：建議使用Ubuntu 18.04或以上版本。
2. Java：Hadoop依賴Java運行環境，需要安裝Java?？梢允褂靡韵旅顧z查Java是否已安裝：

java -version

如果沒有安裝，請執行以下命令安裝：

sudo apt update
sudo apt install openjdk-11-jdk

3. SSH：確保SSH服務正常工作，使用以下命令檢查SSH服務狀態：

sudo systemctl status ssh

4. Hadoop：從Apache Hadoop的官方網站下載最新版本的Hadoop安裝包?？梢酝ㄟ^以下命令下載：

wget https://hadoop.apache.org/release/hadoop-3.3.6.tar.gz

將下載的安裝包解壓到指定目錄：

tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/

配置Hadoop環境變量

在~/.bashrc文件中添加Hadoop環境變量：

nano ~/.bashrc

在文件末尾添加如下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存并退出后，運行以下命令使更改生效：

source ~/.bashrc

Hadoop配置文件

在$HADOOP_HOME/etc/hadoop目錄下，存在多個配置文件。主要配置如下：

1. core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3. mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

啟動Hadoop

1. 格式化HDFS：

hdfs namenode -format

2. 啟動Hadoop集群：

./sbin/start-dfs.sh
./sbin/start-yarn.sh

驗證安裝

1. 訪問HDFS Web界面：打開瀏覽器，輸入 http://localhost:50070 查看HDFS狀態。
2. 訪問YARN Web界面：輸入 http://localhost:8088 查看YARN資源管理器。

以上步驟可以幫助你在Ubuntu上配置Hadoop環境。請根據具體需求和環境進行調整。