Hadoop在Ubuntu上如何配置

在Ubuntu上配置Hadoop涉及多個步驟，包括系統準備、安裝Java、下載Hadoop、配置環境變量、啟動Hadoop服務等。以下是詳細的配置指南：

系統要求

• Ubuntu 18.04或更高版本
• 至少4GB內存（推薦8GB以上）
• 硬盤空間：至少20GB

安裝Java

Hadoop依賴于Java環境，因此需要安裝Java。以下是安裝OpenJDK的命令：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

安裝完成后，驗證Java是否已正確安裝：

java -version

下載和安裝Hadoop

從Apache Hadoop官網下載最新版本的Hadoop二進制包，解壓到指定目錄，例如/usr/local/hadoop：

cd /usr/local
sudo wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
sudo tar -zxvf hadoop-3.3.4.tar.gz

配置Hadoop環境變量

編輯~/.bashrc文件，添加以下行：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使用以下命令使環境變量生效：

source ~/.bashrc

配置Hadoop核心文件

編輯/etc/hadoop/hadoop-env.sh文件，設置JAVA_HOME環境變量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

編輯/etc/hadoop/core-site.xml文件，添加以下內容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

編輯/etc/hadoop/hdfs-site.xml文件，添加以下內容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

編輯/etc/hadoop/yarn-site.xml文件，添加以下內容：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

編輯/etc/hadoop/mapred-site.xml文件，添加以下內容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

啟動Hadoop

在終端中執行以下命令格式化HDFS：

sudo -u hdfs hadoop fs -format

啟動Hadoop服務：

sudo -u hdfs hadoop-daemon.sh start namenode
sudo -u hdfs hadoop-daemon.sh start datanode
sudo -u yarn hadoop-daemon.sh start resourcemanager
sudo -u yarn hadoop-daemon.sh start nodemanager

驗證Hadoop服務

在瀏覽器中訪問http://localhost:50070，如果看到Hadoop的Web界面，則表示Hadoop服務已成功啟動。

請注意，以上步驟是基于特定版本的Hadoop進行說明的，具體版本可能會有所不同，建議參考官方文檔進行配置。