Hadoop在Ubuntu上的網絡配置需要注意什么

Hadoop在Ubuntu上的網絡配置注意事項

1. 網絡接口與IP配置

確保所有節點（NameNode、DataNode、ResourceManager、NodeManager等）的網絡接口（如eth0、ens33等）配置正確。推薦使用靜態IP地址（避免DHCP動態分配導致的IP變動），可通過ip命令（Ubuntu 18.04及以上版本）或修改/etc/netplan/*.yaml文件（Ubuntu 17.10及以上版本）設置。例如，靜態IP配置示例：sudo ip addr add 192.168.1.100/24 dev eth0（臨時生效）或通過Netplan永久生效。同時，需正確設置子網掩碼（如255.255.255.0）、網關（如192.168.1.1）和DNS服務器（如8.8.8.8、8.8.4.4，寫入/etc/resolv.conf）。

2. 主機名與hosts文件映射

在所有節點的/etc/hosts文件中，添加IP地址與主機名的映射關系（避免依賴DNS解析，提升通信效率）。例如：
192.168.1.100 master
192.168.1.101 slave1
192.168.1.102 slave2
確保所有節點的/etc/hostname文件中設置的主機名與hosts文件中的名稱一致。

3. SSH無密碼登錄配置

Hadoop集群節點間需要通過SSH進行無密碼通信（如NameNode與DataNode之間的心跳檢測）。操作步驟：

• 在所有節點生成SSH密鑰對：ssh-keygen -t rsa（默認保存路徑為~/.ssh/id_rsa）；
• 將公鑰復制到其他節點：ssh-copy-id user@node2（替換為用戶和節點IP/主機名）；
• 測試無密碼登錄：ssh user@node2（無需輸入密碼）。

4. Hadoop核心網絡配置文件

修改Hadoop的關鍵配置文件，確保網絡參數正確：

• core-site.xml：設置HDFS的默認文件系統地址（使用主機名而非localhost），例如：<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property>；
• hdfs-site.xml：配置NameNode和DataNode的目錄路徑（需提前創建），以及數據復制份數（生產環境建議3份）：<property><name>dfs.replication</name><value>3</value></property>、<property><name>dfs.namenode.name.dir</name><value>/opt/hadoop/namenode</value></property>、<property><name>dfs.datanode.data.dir</name><value>/opt/hadoop/datanode</value></property>；
• yarn-site.xml：設置ResourceManager的主機名和Shuffle服務：<property><name>yarn.resourcemanager.hostname</name><value>master</value></property>、<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>；
• mapred-site.xml（若未自動生成）：指定MapReduce框架為YARN：<property><name>mapreduce.framework.name</name><value>yarn</value></property>。

5. 防火墻設置

Ubuntu默認使用ufw（Uncomplicated Firewall）管理防火墻，需開放Hadoop所需端口：

• HDFS核心端口：8020（NameNode RPC）、50070（NameNode Web UI）、50090（Secondary NameNode）；
• YARN核心端口：8032（ResourceManager）、8042（NodeManager Web UI）、50010（DataNode數據傳輸）；
• 示例命令：sudo ufw allow 8020/tcp、sudo ufw allow 50070/tcp、sudo ufw allow 8032/tcp，最后啟用防火墻：sudo ufw enable。若使用iptables，需同步配置相應規則。

6. 網絡連通性驗證

配置完成后，需逐一驗證網絡連通性：

• 使用ping命令測試節點間IP連通性（如ping 192.168.1.101）；
• 使用ssh命令測試無密碼登錄（如ssh master）；
• 檢查主機名解析是否正確（如ping master應能解析為對應IP）。

7. 網絡性能優化

• 使用千兆以太網（或更高速度）的網絡接口，避免網絡帶寬成為集群性能瓶頸；
• 若集群節點分布在不同機架，建議配置多網卡綁定（Bonding）或網絡隔離（如VLAN），提升網絡可靠性。