Hadoop 集群在 Ubuntu 上怎么搭建

搭建Hadoop集群是一個復雜的過程，涉及多個步驟和配置。以下是一個基本的指南，幫助你在Ubuntu上搭建Hadoop集群。

環境準備

• 硬件要求：確保每臺機器滿足Hadoop的最低配置要求，例如雙核CPU、8GB內存、100GB硬盤。
• 網絡配置：所有機器需要在同一網絡中，并且能夠相互通信。
• SSH無密碼登錄：在所有機器之間配置SSH無密碼登錄，以便于管理和部署。

安裝Java

Hadoop需要Java運行環境，通常使用OpenJDK。

sudo apt update
sudo apt install openjdk-8-jdk
java -version

安裝Hadoop

1. 下載Hadoop：從Apache Hadoop官網下載最新版本的Hadoop。

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2. 解壓Hadoop：將下載的Hadoop安裝包解壓到指定目錄，例如/usr/local/hadoop。

sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

3. 配置Hadoop環境變量：編輯~/.bashrc文件，添加以下行：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使用以下命令使環境變量生效：

source ~/.bashrc

配置Hadoop

1. 編輯Hadoop配置文件：

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

• mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
</configuration>

2. 格式化HDFS：

sudo -u hdfs hadoop namenode -format

3. 啟動Hadoop服務：

sudo -u hdfs hadoop-daemon.sh start namenode
sudo -u hdfs hadoop-daemon.sh start datanode
sudo -u yarn hadoop-daemon.sh start resourcemanager
sudo -u yarn hadoop-daemon.sh start nodemanager

驗證集群狀態

在瀏覽器中訪問Hadoop的Web界面，例如：

• HDFS狀態：http://localhost:9000/cluster/namenode
• YARN狀態：http://localhost:8088/cluster/scheduler

如果能夠看到Hadoop的Web界面，則表示Hadoop集群搭建成功。

請注意，以上步驟提供了一個基本的Hadoop集群搭建流程。根據具體需求和環境，可能需要進行更多的配置和優化。建議參考Hadoop官方文檔以獲取更多詳細信息和進一步的配置。