如何排查ZooKeeper的故障

1. 檢查ZooKeeper服務運行狀態
首先確認ZooKeeper服務是否處于運行狀態。在Linux系統（如CentOS）中，可使用systemctl命令：sudo systemctl status zookeeper。若服務未啟動，執行sudo systemctl start zookeeper啟動；如需開機自啟，執行sudo systemctl enable zookeeper。

2. 查閱日志文件定位問題
ZooKeeper的日志是故障排查的核心依據，通常位于/var/log/zookeeper/zookeeper.out（或dataLogDir配置的目錄）。使用tail -f /var/log/zookeeper/zookeeper.out實時查看最新日志，重點關注ERROR、FATAL級別的日志，分析時間戳、線程名稱及具體錯誤信息（如連接超時、數據不一致等）。

3. 核對配置文件正確性
檢查zoo.cfg（通常位于/etc/zookeeper/conf/或/usr/local/zookeeper/conf/）的關鍵配置：

• clientPort：客戶端連接端口（默認2181），確保未被其他服務占用；
• dataDir/dataLogDir：數據及日志存儲目錄，需存在且ZooKeeper進程有讀寫權限（chown -R zookeeper:zookeeper /path/to/dir）；
• server.x：集群節點配置（如server.1=node1:2888:3888），需與對應節點的myid文件（位于dataDir）中的ID一致（如node1的myid內容為1）。

4. 驗證網絡與端口連通性
ZooKeeper集群依賴節點間的網絡通信，需檢查：

• 節點間網絡連通性：使用ping命令測試集群節點間的網絡是否可達；
• 端口開放情況：使用telnet或nc命令測試默認端口（2181為客戶端端口，2888、3888為集群通信端口），如telnet node1 2181。若端口未開放，調整防火墻規則：sudo firewall-cmd --permanent --add-port=2181/tcp，然后sudo firewall-cmd --reload（或臨時關閉防火墻測試：sudo systemctl stop firewalld）。

5. 檢查Java環境兼容性
ZooKeeper依賴Java運行環境，需確保：

• Java已安裝且版本兼容（ZooKeeper 3.5.x及以上推薦Java 8或11）；
• JAVA_HOME環境變量已正確設置（echo $JAVA_HOME應輸出Java安裝路徑，如/usr/lib/jvm/java-1.8.0-openjdk）。
  檢查Java版本的命令：java -version；若未安裝，使用sudo yum install java-1.8.0-openjdk-devel（CentOS）安裝。

6. 使用四字命令監控集群狀態
ZooKeeper內置的“四字命令”可快速獲取集群狀態：

• ruok：檢查服務是否運行（返回imok表示正常）；
• stat：查看節點狀態（包括模式：leader/follower、連接數、延遲等）；
• mntr：獲取詳細監控指標（如節點數量、投票狀態、數據大?。?。
  使用方式：echo "stat" | nc localhost 2181（將localhost替換為目標節點IP）。

7. 檢查系統資源使用情況
資源瓶頸可能導致ZooKeeper性能下降或崩潰，需監控：

• CPU使用率：top或htop命令，若長期超過80%需優化配置或擴容；
• 內存使用：free -h命令，確保heapSize（zoo.cfg中的jmxheapsize或啟動腳本中的-Xmx）設置合理（通常為物理內存的1/4-1/2）；
• 磁盤空間：df -h命令，dataDir所在分區剩余空間需大于1GB；
• 磁盤I/O：iostat -x 1命令，若await（等待時間）過高，需檢查磁盤性能或更換磁盤。

8. 數據與日志完整性修復
若數據目錄（dataDir）或日志目錄（dataLogDir）損壞，可能導致ZooKeeper無法啟動：

• 備份原有數據（cp -r /var/lib/zookeeper /var/lib/zookeeper.bak）；
• 刪除dataDir下的version-2文件夾（事務日志）和dataLogDir下的version-2文件夾（日志文件）；
• 重啟ZooKeeper服務（sudo systemctl restart zookeeper），ZooKeeper會自動重建數據目錄。

9. 重啟ZooKeeper服務
若上述步驟均未解決問題，可嘗試重啟服務：sudo systemctl restart zookeeper。重啟后再次檢查服務狀態、日志及集群狀態，確認是否恢復正常。

10. 常見報錯針對性解決

• Server not responding：檢查服務狀態、網絡連接及客戶端超時時間（zoo.cfg中的tickTime）；
• NodeExists：刪除已存在的節點（rmr /node_path）后重新創建；
• NoNode：確認節點路徑是否存在（ls /node_path）；
• SessionExpired：調整客戶端會話超時時間（sessionTimeout，通常設置為tickTime的2-3倍）；
• DataInconsistency：從健康節點同步數據或重新初始化集群（需謹慎操作，確保數據備份）。