Linux下Hadoop如何進行版本升級

Linux下Hadoop版本升級詳細步驟及注意事項

一、升級前準備

1. 確認當前版本
   執行hadoop version命令，明確當前Hadoop的主版本號（如3.3.0）和次版本號（如3.3.6），判斷是否需要跨主版本升級（如2.x→3.x）。
2. 備份關鍵數據
   • 備份配置文件：cp -r $HADOOP_HOME/etc/hadoop /backup/hadoop_config_backup（保留core-site.xml、hdfs-site.xml、yarn-site.xml等自定義配置）；
   • 備份HDFS數據：hadoop fs -copyToLocal / $BACKUP_DIR/hdfs_data（可選，若數據量大可選擇增量備份）；
   • 備份YARN日志：cp -r $HADOOP_HOME/logs /backup/yarn_logs（用于問題排查）。
3. 查閱新版本文檔
   訪問Hadoop官網（apache.org）下載頁面，查看新版本的Release Notes，重點關注：
   • 不兼容變更（如配置項調整、API變動）；
   • 升級必需的依賴（如Java版本升級，如Hadoop 3.x要求Java 8+）；
   • 新增功能及已知問題。
4. 檢查依賴兼容性
   根據新版本要求，確認系統已安裝匹配的依賴：
   • Java：java -version（如Hadoop 3.3.6需Java 8或11）；
   • SSH：ssh localhost（需免密登錄）；
   • 其他：ZooKeeper（如啟用HA）、Protocol Buffers（如新版本要求的版本）。

二、停止Hadoop集群

1. 停止所有服務
   進入Hadoop的sbin目錄，依次執行：

   ./stop-yarn.sh  # 停止YARN服務
   ./stop-dfs.sh   # 停止HDFS服務
   

   使用jps命令確認所有守護進程（NameNode、DataNode、ResourceManager、NodeManager等）已停止。

三、下載并解壓新版本

1. 下載新版本
   使用wget命令下載官方壓縮包（以Hadoop 3.3.6為例）：

   wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
   

   校驗壓縮包完整性（如通過MD5或SHA256值）。
2. 解壓并替換舊版本
   解壓至目標目錄（如/usr/local）：

   tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
   

   備份舊版本（可選但推薦）：

   mv /usr/local/hadoop /usr/local/hadoop_old
   

   重命名新版本目錄：

   mv /usr/local/hadoop-3.3.6 /usr/local/hadoop
   ```。  
   
   
   

四、更新環境變量

1. 修改配置文件
   編輯~/.bashrc（或~/.bash_profile），更新HADOOP_HOME和PATH：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

2. 使配置生效
   執行source ~/.bashrc，驗證環境變量：

   echo $HADOOP_HOME  # 應輸出新版本路徑
   hadoop version     # 應顯示新版本號
   ```。  
   
   
   

五、遷移與更新配置文件

1. 恢復自定義配置
   將備份的配置文件復制到新版本的etc/hadoop目錄：

   cp -r /backup/hadoop_config_backup/* $HADOOP_HOME/etc/hadoop/
   

2. 檢查配置兼容性
   • 確認core-site.xml中的fs.defaultFS路徑是否與新版本兼容（如Hadoop 3.x默認端口從8020改為9000）；
   • 確認hdfs-site.xml中的dfs.namenode.name.dir、dfs.datanode.data.dir路徑是否存在且權限正確（需為hadoop:hadoop）；
   • 確認yarn-site.xml中的yarn.resourcemanager.hostname、yarn.nodemanager.aux-services等配置是否符合新版本要求。

六、啟動集群并執行升級

1. 啟動HDFS
   執行start-dfs.sh啟動HDFS服務，若為新版本首次啟動，需添加-upgrade參數觸發文件系統升級：

   $HADOOP_HOME/sbin/start-dfs.sh -upgrade
   

   此命令會將HDFS的元數據（如NameNode的fsimage、edits文件）升級到新版本格式。
2. 檢查升級進度
   使用以下命令實時查看升級狀態：

   hadoop dfsadmin -upgradeProgress status  # 查看簡要狀態
   hadoop dfsadmin -upgradeProgress details  # 查看詳細步驟（如元數據轉換進度）
   

   若升級卡住，可使用force參數強制繼續（需謹慎，可能導致數據不一致）。
3. 啟動YARN
   啟動YARN服務：

   $HADOOP_HOME/sbin/start-yarn.sh
   

   使用yarn application -list驗證YARN是否正常運行。

七、驗證升級結果

1. 檢查集群狀態
   • HDFS：hdfs dfs -ls /（查看根目錄是否存在）；
   • YARN：yarn node -list（查看節點是否注冊）；
   • 進程：jps（應存在NameNode、DataNode、ResourceManager、NodeManager等進程）。
2. 運行測試任務
   提交一個簡單的MapReduce任務（如hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 10 100），驗證任務是否能正常執行并輸出結果。

八、完成升級（可選）

1. 清理舊版本備份
   若升級后運行穩定（建議觀察7天以上），可執行以下命令刪除舊版本備份，釋放空間：

   hadoop dfsadmin -finalizeUpgrade
   

   執行后，rollback命令將失效，無法回退到舊版本。

九、回滾計劃（若升級失?。?/strong>