Ubuntu Hadoop 安裝步驟全解析

在Ubuntu上安裝Hadoop的步驟如下：

系統初始化

1. 安裝網絡工具包：

sudo apt install net-tools vim

2. 關閉防火墻：

sudo ufw disable

3. 設置主機名稱：

hostnamectl set-hostname master

4. 配置hosts文件：

cat >> /etc/hosts << eof
192.168.52.28 master
eof

5. 生成SSH密鑰：

ssh-keygen -t rsa -p ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

安裝Java環境

1. 下載并解壓Java：

tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/
cd /usr/local/
mv jdk1.8.0_201 java

2. 啟用Java環境變量：

vi /etc/profile
export JAVA_HOME=/usr/local/java
export path=$path:$java_home/bin:$java_home/sbin
source /etc/profile
java -version

Hadoop分布式環境搭建

1. 下載Hadoop：

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz

2. 解壓Hadoop安裝包：

tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/
cd /usr/local/hadoop-2.7.6/etc/hadoop/
mkdir /data/hadoop/hdfs/tmp
mkdir /data/hadoop/hdfs/name
mkdir /data/hadoop/hdfs/data

3. 配置hadoop-env.sh文件：

vim hadoop-env.sh

添加以下行：

export JAVA_HOME=/usr/local/java

4. 配置start-dfs.sh和stop-dfs.sh文件：

vim start-dfs.sh
vim stop-dfs.sh

添加以下行：

hdfs_datanode_user=roothadoop_secure_dn_user=hdfshdfs_namenode_user=roothdfs_secondarynamenode_user=root

5. 配置start-yarn.sh和stop-yarn.sh文件：

vim start-yarn.sh
vim stop-yarn.sh

添加以下行：

yarn_resourcemanager_user=roothadoop_secure_dn_user=yarnyarn_nodemanager_user=root

6. 配置core-site.xml文件：

cd /usr/local/hadoop-2.7.6/etc/hadoop/
vim core-site.xml

添加以下內容：

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadoop/hdfs/tmp</value>
  </property>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

7. 配置hdfs-site.xml文件：

vim hdfs-site.xml

添加以下內容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/data/hadoop/hdfs/data</value>
  </property>
</configuration>

8. 配置mapred-site.xml文件：

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

添加以下內容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

以上步驟涵蓋了在Ubuntu上安裝Hadoop的基本流程，包括系統初始化、Java環境安裝、Hadoop環境搭建等關鍵步驟。