Hadoop在Debian上如何部署

在Debian上部署Hadoop的步驟如下：

1. 系統初始化：

• 安裝網絡工具包：sudo apt install net-tools vim
• 關閉防火墻：sudo ufw disable
• 設置主機名稱：hostnamectl set-hostname master
• 編輯 /etc/hosts 文件，添加所有節點的IP和主機名。

2. 安裝Java環境：

• 下載并解壓JDK安裝包至指定目錄：tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/
• 啟用Java環境變量：

vi /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
source /etc/profile
java -version

3. Hadoop分布式環境搭建：

• 從Apache官方網站下載Hadoop安裝包：wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz
• 解壓Hadoop安裝包：tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/
• 進入Hadoop目錄：cd /usr/local/hadoop-2.7.6/

4. 配置Hadoop環境變量：

• 編輯 hadoop-env.sh 文件，添加JDK路徑。
• 編輯 start-dfs.sh 和 stop-dfs.sh 文件，添加HDFS的root執行權限。
• 編輯 start-yarn.sh 和 stop-yarn.sh 文件，添加YARN的root執行權限。

5. 配置Hadoop配置文件：

• 配置 core-site.xml 文件：

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hdfs/tmp</value>
</property>
<property>
<name>fs.defaultfs</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

• 配置 hdfs-site.xml 文件：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
</property>
</configuration>

• 配置 mapred-site.xml 文件：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6. 格式化HDFS：

• 在NameNode上運行以下命令格式化HDFS：hdfs namenode -format

7. 啟動Hadoop服務：

• 在NameNode上啟動Hadoop的NameNode和DataNode：./sbin/start-dfs.sh
• 在ResourceManager上啟動YARN：./sbin/start-yarn.sh

8. 驗證安裝：

• 通過Web界面或其他工具驗證Hadoop是否正常運行。

請注意，以上步驟是基于Hadoop 2.7.6版本的配置，不同版本的Hadoop在配置上可能會有所不同。建議參考官方文檔以獲取針對具體版本的詳細配置指南。