Ubuntu Hadoop 網絡設置怎么做

Ubuntu環境下Hadoop網絡設置步驟

1. 配置靜態IP地址（Ubuntu 18.04及以上版本）

Ubuntu使用netplan工具管理網絡配置，需編輯對應YAML文件（如/etc/netplan/01-netcfg.yaml）。

• 備份原文件：sudo cp /etc/netplan/01-netcfg.yaml /etc/netplan/01-netcfg.yaml.bak
• 編輯文件（以ens33網卡為例，需替換為實際接口名，可通過ip a命令查看）：

  network:
    version: 2
    renderer: networkd
    ethernets:
      ens33:
        dhcp4: no  # 關閉DHCP，使用靜態IP
        addresses: ["192.168.1.100/24"]  # 設置靜態IP及子網掩碼（/24表示255.255.255.0）
        gateway4: "192.168.1.1"  # 設置默認網關（與物理網絡一致）
        nameservers:
          addresses: ["8.8.8.8", "8.8.4.4"]  # 設置DNS服務器（可選，但建議配置）
  

• 應用配置：sudo netplan apply（生效前會自動驗證語法）。

2. 配置主機名與hosts文件映射

• 設置主機名：編輯/etc/hostname文件，將默認主機名（如ubuntu）改為集群節點標識（如hadoop-master、hadoop-slave1），保存后重啟生效或運行sudo hostnamectl set-hostname hadoop-master立即生效。
• 配置hosts映射：編輯/etc/hosts文件，添加集群所有節點的IP與主機名對應關系（避免依賴DNS）：

  192.168.1.100 hadoop-master
  192.168.1.101 hadoop-slave1
  192.168.1.102 hadoop-slave2
  

  該步驟需在所有節點上執行，確保節點間可通過主機名互相訪問。

3. 配置SSH免密碼登錄

Hadoop集群節點間需要無密碼SSH通信（如NameNode與DataNode、ResourceManager與NodeManager）。

• 生成密鑰對：在主節點（如hadoop-master）上運行ssh-keygen -t rsa，按提示回車（默認保存路徑~/.ssh/id_rsa，無需設置密碼）。
• 分發公鑰：將公鑰復制到所有從節點（包括自身），例如：

  ssh-copy-id hadoop-master  # 復制到主節點自身
  ssh-copy-id hadoop-slave1  # 復制到slave1
  ssh-copy-id hadoop-slave2  # 復制到slave2
  

• 驗證免密登錄：運行ssh hadoop-slave1，若無需輸入密碼即可登錄，則配置成功。

4. 關閉防火墻與SELinux（可選但推薦）

• 關閉Ubuntu防火墻：Ubuntu默認使用ufw防火墻，運行以下命令停止并禁用：

  sudo ufw disable  # 停止防火墻
  sudo ufw status   # 驗證狀態（顯示“inactive”即為關閉）
  

• 關閉SELinux（若系統啟用）：編輯/etc/selinux/config文件，將SELINUX=enforcing改為SELINUX=disabled，然后重啟系統使配置生效。

5. 驗證網絡連通性

• Ping測試：在主節點上運行ping hadoop-slave1，若能收到回復則表示節點間網絡連通。
• Hadoop服務驗證：啟動Hadoop集群（start-dfs.sh、start-yarn.sh），通過hdfs dfsadmin -report查看DataNode狀態，yarn node -list查看NodeManager狀態，確認服務正常運行。

注意事項

• 確保所有節點的網絡配置一致（如子網掩碼、網關、DNS），避免通信問題。
• 若使用虛擬機搭建集群，需將網絡模式設置為“橋接模式”（與物理網絡同一網段）或“NAT模式”（共享主機IP），并確保虛擬機網絡配置與主機不沖突。
• 靜態IP地址需與物理網絡規劃一致，避免IP沖突。