Linux下Hadoop配置有哪些要點

Linux下Hadoop配置要點如下：

1. 環境準備

   • 選擇穩定Linux發行版（如Ubuntu 20.04、CentOS 7）。
   • 安裝JDK 8（高版本可能不兼容），配置JAVA_HOME環境變量。
   • 關閉防火墻或開放必要端口（如HDFS默認9820、YARN默認8088）。

2. Hadoop安裝與基礎配置

   • 下載Hadoop安裝包（推薦官網穩定版），解壓至指定目錄（如/usr/local/hadoop）。
   • 配置環境變量：在~/.bashrc或/etc/profile中添加HADOOP_HOME、PATH等，并執行source使生效。

3. 核心配置文件修改

   • core-site.xml：設置fs.defaultFS（HDFS URI，如hdfs://namenode:9820）、臨時目錄hadoop.tmp.dir。
   • hdfs-site.xml：配置副本數dfs.replication、NameNode和DataNode數據存儲路徑。
   • yarn-site.xml：指定ResourceManager主機名、NodeManager輔助服務（如mapreduce_shuffle）。
   • mapred-site.xml：設置mapreduce.framework.name為yarn。

4. 集群通信配置

   • 配置SSH免密登錄：主節點生成密鑰對，將公鑰復制到所有從節點authorized_keys。
   • 若為集群模式，需在slaves文件中列出所有DataNode節點主機名。

5. 啟動與驗證

   • 格式化NameNode：hdfs namenode -format（僅首次啟動需執行）。
   • 啟動服務：start-dfs.sh（HDFS）、start-yarn.sh（YARN）。
   • 驗證：通過jps查看進程，或訪問Web界面（HDFS：http://namenode:9870，YARN：http://resourcemanager:8088）。

注意：生產環境需根據節點角色（NameNode/ResourceManager、DataNode/NodeManager）調整配置文件，并確保網絡連通性。