CentOS上Kubernetes故障排查技巧

在CentOS上對Kubernetes進行故障排查可以通過以下幾個步驟進行：

1. 檢查Kubernetes核心組件狀態

• 檢查DNS服務狀態：

  • 使用 kubectl get pods -n kube-system -l k8s-app=kube-dns查看DNS Pod狀態。
  • 使用 kubectl logs -f <kube-dns-pod-name> -n kube-system -c kubedns查看DNS日志。
  • 使用 kubectl get svc kube-dns -n kube-system確認ClusterIP是否正常，以及 kubectl get endpoints kube-dns -n kube-system檢查Endpoint是否包含Pod IP。

• 檢查網絡插件（CNI）狀態：

  • 使用 kubectl get pod -A -o wide | grep -E 'calico|flannel|weave'檢查CNI Pod狀態。
  • 使用 netstat -tulnp | grep 8472（以Flannel為例）檢查CNI端口占用情況。
  • 使用 nc -u -l 8472在目標節點進行監聽，并使用 echo "test" | nc -u <目標節點IP> 8472 -w 2進行跨節點UDP連通性測試。

2. 檢查系統防火墻與路由

• 檢查本地防火墻規則：

  • 使用 iptables -L -n | grep 8472查看iptables規則。
  • 使用 firewall-cmd --list-ports查看firewalld規則（CentOS/RHEL）。

• 公有云安全組檢查：確保安全組放行CNI所需端口（如Flannel UDP 8472）。

3. 使用診斷工具

• kubectl-debug：
  • 通過啟動一個排錯工具容器，并將其加入到目標業務容器的pid、network、user以及ipc namespace中，使用netstat、tcpdump等工具進行問題排查。

4. 查看Kubernetes事件和日志

• 查看Event：使用 kubectl describe pod <pod-name> -n <namespace>查看Pod相關的Event事件，這些事件記錄了相關主題、發生時間、最近發生時間、發生次數及事件原因等。

• 查看日志：

  • 使用 kubectl logs <pod-name> -c <container-name>查看容器日志。
  • 對于使用systemd管理的Kubernetes服務，使用 journalctl -u <service-name>查看服務日志。

5. 具體故障場景排查

• Pod無法解析集群服務：檢查CoreDNS/kube-dns Pod狀態和日志，確認Service和Endpoint配置正確。
• 跨節點Pod無法通信：檢查CNI插件狀態和網絡策略。
• Pod啟動失敗：查看Pod的日志確定詳細失敗原因。

通過這些步驟和工具，可以有效地排查和解決CentOS上Kubernetes集群的故障。