Ubuntu與Hadoop兼容性問題

Ubuntu與Hadoop的兼容性非常好。Ubuntu是一個廣泛使用的Linux發行版，擁有龐大的用戶社區和豐富的文檔資源，這使得在Ubuntu上安裝和配置Hadoop變得更加容易。以下是關于在Ubuntu上安裝Hadoop的詳細步驟：

安裝前準備

在安裝Hadoop之前，需要確保系統滿足以下要求：

• 操作系統：建議使用Ubuntu 16.04或更高版本。
• Java環境：Hadoop依賴于Java環境，確保您的系統中已安裝Java 8或更高版本。
• SSH：用于遠程登錄和管理服務器，確保SSH服務已開啟。

安裝步驟

1. 安裝Java：

sudo apt update
sudo apt install openjdk-8-jdk

2. 配置SSH：

sudo apt install openssh-server
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 下載并解壓Hadoop：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/
sudo mv /opt/hadoop-3.3.4 /opt/hadoop

4. 配置環境變量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

5. 配置Hadoop配置文件：

• hadoop-env.sh：

sudo nano /opt/hadoop/etc/hadoop/hadoop-env.sh
# 設置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

• core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

• mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

6. 格式化HDFS：

sudo -u hadoop hadoop namenode -format

7. 啟動Hadoop：

sudo -u hadoop sbin/start-dfs.sh
sudo -u hadoop sbin/start-yarn.sh

8. 驗證安裝：

• 查看HDFS Web界面：http://localhost:50070
• 查看YARN Web界面：http://localhost:8088