如何升級 Ubuntu Hadoop 系統

如何升級Ubuntu上的Hadoop系統

升級Hadoop系統需謹慎操作，以避免數據丟失或服務中斷。以下是基于Ubuntu環境的詳細升級步驟及注意事項：

一、升級前準備

1. 備份關鍵數據與配置
   升級前必須備份HDFS中的業務數據（如/user目錄下的文件）和集群配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml等），建議備份至本地磁盤或遠程存儲（如S3）?？墒褂?code>hadoop fs -cp命令備份HDFS數據，用cp -r命令備份配置目錄。
2. 檢查版本兼容性
   查閱新版本Hadoop的官方升級指南（如從2.x升級到3.x），確認新版本與Ubuntu系統版本（如22.04/24.04）、Java版本（推薦OpenJDK 11+）及其他依賴組件（如ZooKeeper、Hive）的兼容性。
3. 檢查系統依賴
   確保Ubuntu系統已安裝新版本Hadoop所需的依賴庫（如libsnappy1v5、zlib1g等），避免因依賴缺失導致啟動失敗?？赏ㄟ^sudo apt-get install libsnappy1v5 libsnappy-dev zlib1g zlib1g-dev安裝常用依賴。

二、停止Hadoop集群

在升級前，需完全停止集群中的所有服務，避免數據損壞。執行以下命令：

cd /path/to/hadoop/bin  # 進入Hadoop bin目錄
./stop-all.sh           # 停止所有Hadoop服務（包括NameNode、DataNode、ResourceManager等）

使用jps命令確認所有Hadoop守護進程（如NameNode、DataNode）已停止。

三、下載并解壓新版本Hadoop

1. 下載新版本
   訪問Apache Hadoop官方網站（https://hadoop.apache.org/releases.html），下載所需版本的安裝包（如hadoop-3.3.6.tar.gz）。
2. 解壓安裝包
   將下載的安裝包解壓至目標目錄（如/usr/local/），并重命名文件夾為hadoop：

   sudo tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/
   sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop
   

3. 更新環境變量
   編輯/etc/profile文件，添加或修改以下變量（指向新版本Hadoop目錄）：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   執行source /etc/profile使環境變量生效。

四、遷移與更新配置文件

1. 備份舊配置
   將舊版本的配置目錄備份至conf.old：

   cp -r $HADOOP_HOME/conf $HADOOP_HOME/conf.old
   

2. 替換新配置文件
   將新版本conf目錄下的配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml等）復制到舊配置目錄，覆蓋原有文件。需重點檢查以下配置：
   • core-site.xml：確認fs.defaultFS（HDFS地址）是否正確；
   • hdfs-site.xml：檢查dfs.replication（副本數）、dfs.namenode.name.dir（NameNode元數據目錄）等參數；
   • yarn-site.xml：調整yarn.nodemanager.aux-services（如mapreduce_shuffle）等參數。

五、執行HDFS滾動升級（關鍵步驟）

若從Hadoop 2.x升級到3.x，需使用滾動升級（Rolling Upgrade）功能，逐步升級集群中的每個節點，避免停機。步驟如下：

1. 準備滾動升級
   在Standby NameNode上執行：

   hdfs dfsadmin -rollingUpgrade prepare
   

   使用hdfs dfsadmin -rollingUpgrade query檢查狀態，若返回“Proceed with rolling upgrade”，則可繼續。
2. 啟動滾動升級
   在Active NameNode上執行：

   hdfs dfsadmin -rollingUpgrade start
   

3. 逐個升級DataNode
   登錄每個DataNode節點，依次執行：

   hdfs dfsadmin -shutdownDatanode <datanode_host>:<ipc_port> upgrade  # 關閉DataNode
   hadoop-daemon.sh start datanode                                   # 重啟DataNode（自動升級）
   

   重復上述步驟，直到所有DataNode均升級完成。

六、啟動新版本集群并驗證

1. 啟動Hadoop服務
   執行以下命令啟動HDFS和YARN服務：

   $HADOOP_HOME/sbin/start-dfs.sh    # 啟動HDFS
   $HADOOP_HOME/sbin/start-yarn.sh   # 啟動YARN
   

2. 檢查服務狀態
   使用jps命令確認所有守護進程（NameNode、DataNode、ResourceManager、NodeManager）已啟動。訪問NameNode Web界面（如http://<namenode_host>:9870），查看集群狀態是否正常。
3. 驗證功能
   運行簡單測試任務（如hadoop fs -put上傳文件、hadoop jar hadoop-mapreduce-examples.jar wordcount執行WordCount），確認Hadoop功能正常。

七、完成升級（可選）

若無需回滾，可執行以下命令完成升級（清理舊版本元數據）：

hdfs dfsadmin -rollingUpgrade finalize

此操作不可逆，執行后無法回滾到舊版本。

八、回滾計劃（應對問題）

若升級后出現異常（如服務無法啟動、數據損壞），可立即執行回滾：

1. 停止集群：./stop-all.sh
2. 回滾HDFS：hdfs dfsadmin -rollingUpgrade rollback
3. 重啟舊版本：使用舊版本的start-dfs.sh和start-yarn.sh啟動集群。

通過以上步驟，可安全地將Ubuntu上的Hadoop系統升級到新版本。升級過程中需密切關注日志（$HADOOP_HOME/logs），及時處理異常情況。