Hadoop如何進行網絡配置

Hadoop網絡配置步驟如下：

1. 配置網絡接口
   編輯 /etc/sysconfig/network-scripts/ifcfg-ens33（文件名根據實際網卡調整），設置靜態IP、子網掩碼、網關、DNS，啟用網絡接口（ONBOOT=yes），重啟網絡服務生效。

   # 示例（靜態IP配置）  
   IPADDR=192.168.1.100  
   NETMASK=255.255.255.0  
   GATEWAY=192.168.1.1  
   DNS1=8.8.8.8  
   

2. 配置主機名與DNS

   • 設置主機名：sudo hostnamectl set-hostname namenode
   • 編輯 /etc/hosts，添加節點IP與主機名映射（如 192.168.1.1 namenode）。
   • 可選：配置DNS服務器（/etc/resolv.conf）。

3. 關閉防火墻與SELinux（非必需）

   sudo systemctl stop firewalld && sudo systemctl disable firewalld  
   sudo vi /etc/selinux/config  # 將 SELINUX=enforcing 改為 SELINUX=disabled  
   

4. 配置SSH免密登錄
   生成密鑰對：ssh-keygen -t rsa，將公鑰復制到其他節點：ssh-copy-id user@node2，確保權限正確（chmod 700 ~/.ssh，chmod 600 ~/.ssh/authorized_keys）。

5. 配置Hadoop核心文件

   • core-site.xml：設置默認文件系統（如 fs.defaultFS=hdfs://namenode:9000）。
   • hdfs-site.xml：配置副本數（dfs.replication=3）、NameNode和DataNode數據目錄。
   • yarn-site.xml：設置ResourceManager主機名（yarn.resourcemanager.hostname=resourcemanager）。
   • mapred-site.xml：指定MapReduce框架為YARN（mapreduce.framework.name=yarn）。

6. 配置環境變量
   編輯 /etc/profile 或 ~/.bashrc，添加Hadoop路徑：

   export HADOOP_HOME=/usr/local/hadoop  
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
   

   執行 source 使配置生效。

7. 驗證網絡連通性
   使用 ping 測試節點間網絡連通性，通過 ssh 驗證免密登錄是否正常。

注意：生產環境需根據集群規模調整網絡參數（如帶寬、延遲），并啟用高可用（HA）配置（如JournalNodes、ZKFC）。