Debian系統Hadoop配置指南

以下是在Debian系統上配置Hadoop的指南：

系統準備

更新系統：sudo apt update，sudo apt upgrade -y。安裝Java 8或更高版本，如sudo apt install openjdk-11-jdk -y，并驗證安裝java -version。創建Hadoop用戶sudo adduser hadoop，并賦予sudo權限sudo usermod -aG sudo hadoop。

下載與解壓

從Apache官網下載Hadoop，如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz，然后解壓到指定目錄，如/usr/local：tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/。

配置環境變量

編輯~/.bashrc或/etc/profile文件，添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后執行source ~/.bashrc或source /etc/profile使配置生效。

配置Hadoop文件

• core-site.xml：設置fs.defaultFS為hdfs://namenode:9000，hadoop.tmp.dir為數據臨時目錄，如/usr/local/hadoop/tmp。
• hdfs-site.xml：配置dfs.replication為數據副本數，如3；設置dfs.namenode.name.dir和dfs.datanode.data.dir分別為NameNode和DataNode的數據存儲目錄。
• mapred-site.xml：設置mapreduce.framework.name為yarn。
• yarn-site.xml：設置yarn.nodemanager.aux - services為mapreduce_shuffle，yarn.nodemanager.aux - services.mapreduce.shuffle.class為org.apache.hadoop.mapred.ShuffleHandler。

網絡配置

編輯/etc/network/interfaces配置靜態IP等信息，編輯/etc/hosts添加所有節點的IP和主機名。關閉防火墻sudo ufw disable。

啟動服務

在NameNode上格式化HDFS：hdfs namenode -format。在NameNode上啟動HDFS服務start-dfs.sh，在ResourceManager上啟動YARN服務start-yarn.sh。

驗證安裝

通過hdfs dfs -ls /查看HDFS文件系統，通過yarn node -list查看YARN節點狀態，也可訪問NameNode的Web界面http://namenode:9000驗證。