在CentOS上進行Kubernetes（k8s）故障排查可以通過以下步驟和命令來實現：
檢查節點狀態：
使用 kubectl get nodes 命令來檢查各個節點的狀態，確認是否有節點未能就緒或出現異常狀態。
查看事件日志：
使用 kubectl get events 命令查看集群中發生的事件，深入了解與集群中重要事件和錯誤相關的信息。
檢查Pod狀態：
使用 kubectl get pods --all-namespaces 命令獲取所有Pod的狀態，并通過 kubectl describe pod <pod_name> 獲取特定Pod的詳細信息。
檢查網絡連通性：
使用 kubectl get services 命令查看服務狀態，并驗證網絡策略和防火墻規則的正確配置。
審視存儲配置：
使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令檢查存儲卷聲明、存儲類和持久卷的狀態。
研究容器日志：
使用 kubectl logs <pod_name> -c <container_name> 命令查看特定Pod中容器的日志輸出。
kubectl-debug：
這是一個強大的 kubectl 插件，通過啟動一個調試工具容器，并將其加入到目標業務容器的pid、network、user以及ipc namespace中，使用netstat、tcpdump等工具進行故障排查。
自定義故障排查工具：
可以編寫腳本或使用現成的工具來獲取故障Pod列表并分析其日志。例如，使用 kubernetes/client-go 庫編寫腳本獲取故障Pod的日志信息。
網絡問題排查：
測試節點之間的連通性，例如通過ping命令測試節點間的網絡連接。使用 kubectl describe pod <pod_name> 查看Pod的網絡配置和事件。使用HTTP請求訪問coredns的metrics接口，確認網絡是否正常。
應用程序故障排查：
針對Pod級別的故障，使用 kubectl describe pod <pod_name> 查看Pod的事件和狀態。使用 kubectl logs <pod_name> -c <container_name> 查看容器的日志，定位問題。
檢查配置文件：
檢查Kubernetes配置文件（如YAML文件）是否有語法錯誤。使用 kubectl apply --dry-run client -f your-config-file.yaml 進行驗證。
監控工具： 使用Prometheus和Grafana等監控工具來收集和分析集群的性能數據。
內核版本問題： 如果CentOS 7內核版本較低，可能存在一些已知的bug，如內存泄露問題。建議升級到較新的內核版本，如CentOS 7.4或更高版本。
文件系統錯誤：
如果斷電或其他原因導致文件系統損壞，可以使用原生工具修復文件系統，如 xfs_repair。
通過上述方法和工具，可以系統地對Kubernetes集群進行故障排查，快速定位并解決問題，確保系統的穩定運行。
