centos k8s故障排查方法有哪些

CentOS環境下Kubernetes（k8s）故障排查方法

以下是針對CentOS系統上Kubernetes集群的系統性故障排查流程，涵蓋從集群狀態到具體組件的多個維度：

1. 檢查集群整體狀態

首先確認集群基礎狀態是否正常，這是排查故障的第一步：

• 查看節點狀態：使用kubectl get nodes命令，確保所有節點處于Ready狀態（若節點為NotReady，需進一步檢查kubelet服務）；
• 查看Pod狀態：使用kubectl get pods --all-namespaces，關注Pending（調度失?。?、Error（運行錯誤）、CrashLoopBackOff（容器反復崩潰）等異常狀態的Pod。

2. 查看組件與集群事件日志

• 集群事件：使用kubectl get events --sort-by=.metadata.creationTimestamp查看集群近期事件（如Pod調度失敗、節點資源不足等），事件會記錄故障的關鍵線索；
• 組件日志：通過journalctl查看Kubernetes核心組件的日志，定位具體錯誤：
  • journalctl -u kubelet -f（kubelet服務日志，涉及Pod生命周期管理）；
  • journalctl -u kube-proxy -f（kube-proxy服務日志，涉及網絡轉發）；
  • journalctl -u kube-apiserver -f（API Server日志，涉及集群控制平面操作）。

3. 檢查網絡配置與連通性

網絡問題是Kubernetes常見故障類型，需重點排查：

• 節點間連通性：使用ping <node-ip>測試節點之間網絡是否通暢；
• 網絡策略與防火墻：使用iptables -L檢查防火墻規則，確保Kubernetes相關端口（如6443/API Server、10250/kubelet）未被阻止；
• CNI插件狀態：若使用Calico、Flannel等CNI插件，通過kubectl get pods -n kube-system查看插件Pod是否正常運行（狀態應為Running）。

4. 檢查存儲配置與掛載

存儲問題會導致Pod無法啟動或數據丟失，需確認：

• PV/PVC狀態：使用kubectl get pv（持久卷）、kubectl get pvc（持久卷聲明），確保PVC已綁定PV且狀態為Bound；
• StorageClass配置：使用kubectl get storageclass檢查存儲類是否正確配置（如默認存儲類是否存在）；
• 存儲后端健康：若使用NFS、Ceph等外部存儲，檢查存儲服務是否正常運行（如systemctl status nfs-server）。

5. 檢查資源使用與限制

資源不足是Pod異常的常見原因，需監控節點與Pod的資源使用情況：

• 節點資源：使用kubectl top nodes查看節點CPU、內存使用率；使用free -g（內存）、df -h（磁盤）確認系統資源是否充足；
• Pod資源：使用kubectl describe pod <pod-name>查看Pod的資源請求（requests）與限制（limits），若資源不足，需調整配置或擴容節點。

6. 查看容器與應用日志

容器日志能直接反映應用運行狀態，需精準定位：

• Pod日志：使用kubectl logs <pod-name> -n <namespace>查看Pod內主容器日志；若Pod有多個容器，需指定容器名（kubectl logs <pod-name> -c <container-name> -n <namespace>）；
• 實時日志：添加-f參數實時跟蹤日志輸出（如kubectl logs -f <pod-name>）；
• 容器內調試：若需進入容器內部排查，使用kubectl exec -it <pod-name> -n <namespace> -- /bin/bash（若容器無bash，可替換為sh）。

7. 使用調試工具深入排查

• 調試Pod：使用kubectl debug命令創建臨時調試Pod，進入容器環境檢查問題（如kubectl debug -it <pod-name> --image=busybox --target=<container-name>）；
• 節點問題檢測：安裝node-problem-detector（Kubernetes官方工具），監控節點內核錯誤、硬件故障等問題，并通過Event上報。

8. 檢查版本兼容性

Kubernetes組件版本不兼容會導致集群異常，需確認：

• 使用kubectl version查看客戶端與服務端版本；
• 參考Kubernetes官方文檔中的版本兼容性矩陣，確保kubelet、kube-apiserver、kube-controller-manager等組件版本匹配。

9. 系統級排查

• 系統日志：使用dmesg -T查看內核日志（-T參數顯示人類可讀時間），檢查是否有與Kubernetes相關的內核錯誤（如網絡驅動問題）；
• 系統資源：使用top（CPU）、free -m（內存）、iotop（磁盤IO）監控系統資源，排除系統級瓶頸。

10. 參考官方與社區資源

• 官方文檔：查閱Kubernetes官方故障排除指南（如troubleshooting文檔），獲取針對性解決方案；
• 社區資源：在Kubernetes社區論壇、Stack Overflow等平臺搜索類似問題，或發布問題尋求幫助（需提供詳細的故障現象、日志信息）。

以上方法覆蓋了CentOS環境下Kubernetes故障排查的全流程，可根據具體故障現象選擇對應步驟逐步定位問題。操作前建議備份重要數據（如/etc/kubernetes目錄），避免誤操作影響集群穩定性。