Debian上K8s部署的故障排查方法有哪些

在Debian上部署Kubernetes（K8s）時，故障排查是一個關鍵技能，可以幫助你快速定位和解決問題。以下是一些常用的故障排查方法：

1. 審視集群狀態

• 使用 kubectl get nodes 命令檢查節點狀態，確保所有節點正常運行。
• 檢查基本組件如etcd、kubelet和kube-proxy是否正常運行。

2. 追蹤事件日志

• 使用 kubectl get events 命令查看集群事件日志，了解重要事件和錯誤信息。

3. 聚焦Pod狀態

• 使用 kubectl get pods --all-namespaces 命令獲取所有Pod的狀態，檢查是否有Pod未處于運行狀態。
• 使用 kubectl describe pod <pod-name> -n <namespace> 獲取特定Pod的詳細信息。

4. 檢查網絡連通性

• 使用 kubectl get services 命令查看服務狀態，驗證服務、Pod和節點之間的網絡通信。
• 檢查網絡策略和防火墻規則的正確配置。

5. 審視存儲配置

• 使用 kubectl get pv, kubectl get pvc 和 kubectl get storageclass 命令檢查存儲卷聲明、存儲類和持久卷的狀態。

6. 研究容器日志

• 使用 kubectl logs <pod-name> -n <namespace> 命令查看特定Pod中容器的日志輸出。

7. 網絡診斷

• 連通性測試：使用 ping, nc, telnet 等工具測試Pod間的網絡連通性，或通過 curl 檢查服務端口是否可達。
• NetworkPolicy 檢查：確認NetworkPolicy規則是否過于嚴格導致通信阻斷，使用 kubectl get netpol 查看并分析現有策略。
• CNI插件排查：檢查CNI插件（如Calico、Flannel等）的日志，排查網絡配置或插件自身問題。

8. 存儲問題排查

• PVC/PV狀態檢查：使用 kubectl get pvc, kubectl get pv 查看PersistentVolumeClaim和PersistentVolume的綁定狀態與容量，確認是否存在未綁定、容量不足等問題。
• 存儲日志與事件：檢查存儲插件（如local volume、CSI driver等）日志，以及PVC/PV的事件信息，查找存儲訪問異常。
• 數據完整性驗證：必要時，直接在宿主機上掛載存儲卷，檢查數據完整性和一致性。

9. 資源調度與親和性問題

• 節點資源分析：使用 kubectl top nodes 查看節點資源使用情況，判斷是否存在資源瓶頸。
• 調度策略檢查：確認Deployments、StatefulSets等資源的 .spec.template.spec.nodeselector, .spec.affinity, .spec.tolerations 等調度相關字段配置，看是否限制了Pod的調度范圍。
• kube-scheduler日志：分析kube-scheduler日志，了解調度決策過程，找出影響調度的因素。

10. 認證授權與訪問控制

• RBAC規則審查：使用 kubectl get rolebindings, clusterrolebindings 檢查角色綁定關系，確保用戶或服務賬戶具有正確的API訪問權限。
• api server訪問日志：分析 kube-apiserver-audit.log，跟蹤特定用戶或賬戶的API請求與響應，排查授權問題。
• 網絡代理與認證配置：檢查 kubeconfig 文件、api server配置及網絡代理（如kube-proxy、ingress-nginx等）的認證設置，確保訪問路徑無誤。

11. 常用故障案例

• 服務間網絡通信異常：使用 ping, nc 或 curl 等工具測試與目標服務的網絡連通性，包括ClusterIP、NodePort或Headless service的DNS解析。
• Pod無法啟動：檢查Pod狀態，查看Pod日志，確認鏡像拉取是否成功。

通過這些方法，你可以系統地排查和解決Debian上K8s部署中遇到的問題。根據具體現象和錯誤信息，選擇合適的排查步驟和方法，能夠幫助你快速定位并解決問題。