Hadoop在Linux中的網絡如何配置

Hadoop在Linux中的網絡配置步驟如下：

1. 配置網絡接口

   • 編輯網絡配置文件（如CentOS的/etc/sysconfig/network-scripts/ifcfg-ens33或Ubuntu的/etc/netplan/*.yaml），設置靜態IP、子網掩碼、網關和DNS：

     BOOTPROTO=static
     IPADDR=192.168.1.100
     NETMASK=255.255.255.0
     GATEWAY=192.168.1.1
     DNS1=8.8.8.8
     ONBOOT=yes  # CentOS
     

   • 重啟網絡服務：sudo systemctl restart network（CentOS）或sudo netplan apply（Ubuntu）。

2. 配置主機名與DNS

   • 設置主機名：sudo hostnamectl set-hostname <主機名>。
   • 編輯/etc/hosts，添加節點IP與主機名映射（所有節點需一致）：

     192.168.1.100 namenode
     192.168.1.101 datanode1
     

   • 確保/etc/resolv.conf包含DNS服務器地址。

3. 配置SSH免密登錄

   • 生成密鑰對：ssh-keygen -t rsa（按回車跳過密碼）。
   • 復制公鑰到其他節點：ssh-copy-id <用戶名>@<節點IP>。
   • 驗證免密登錄：ssh <節點IP>。

4. 配置Hadoop核心文件

   • core-site.xml：設置HDFS默認文件系統，如fs.defaultFS=hdfs://namenode:9000。
   • hdfs-site.xml：配置數據塊副本數、NameNode存儲路徑等，如dfs.replication=3。
   • yarn-site.xml：配置YARN資源管理器信息，如yarn.resourcemanager.hostname=resourcemanager。
   • mapred-site.xml：指定MapReduce框架為YARN，如mapreduce.framework.name=yarn。

5. 配置Hadoop環境變量

   • 編輯~/.bashrc或/etc/profile，添加：

     export HADOOP_HOME=/path/to/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 生效配置：source ~/.bashrc。

6. 驗證網絡與集群

   • 使用ping檢查節點間連通性。
   • 啟動Hadoop集群：start-dfs.sh和start-yarn.sh，通過jps查看進程是否正常。

注意：配置前需確保所有節點時間同步（可使用NTP服務），且防火墻/SELinux已關閉或放行Hadoop端口。具體參數需根據集群規模和需求調整。