centos k8s故障排查指南

在CentOS上部署Kubernetes（k8s）并進行故障排查時，可以遵循以下步驟：

檢查集群狀態

• 使用 kubectl get nodes 命令檢查節點狀態，確保所有節點正常運行。
• 檢查etcd、kubelet和kube-proxy等關鍵組件的狀態。

查看Pod狀態

• 使用 kubectl get pods --all-namespaces 命令獲取所有Pod的狀態。
• 對于未處于運行狀態的Pod，使用 kubectl describe pod <pod_name> 查看詳細信息。

檢查事件日志

• 使用 kubectl get events 命令查看集群中發生的事件，這些事件可能包含有關故障的線索。

檢查系統資源

• 檢查內存使用狀態：free -g
• 查詢并計算物理CPU數量：cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
• 檢測系統盤IO性能：使用 dd 命令測試4k小文件讀寫速度。

查看日志文件

• 查看Kubernetes組件的日志：journalctl -xe | grep kubelet
• 查看系統日志：tail -f /var/log/messages
• 查看開機信息、內核信息、硬件問題等：dmesg -T
• 查看數據庫錯誤日志：tail -f /sysvol/mariadb/mariadb_data/mysql-error.log

解決內存泄露問題

• 如果出現 cannot allocate memory 或 no space left on device 錯誤，檢查是否存在內存泄露。
• 查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件，判斷是否存在內存泄露。

解決網絡問題

• 如果遇到網絡問題，考慮升級CentOS內核版本。
• 使用 ping 命令測試節點之間的網絡連接。
• 檢查網絡插件（如Calico、Flannel）的配置和狀態。

檢查存儲配置

• 確保Persistent Volumes和Storage Classes配置正確。
• 使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令檢查存儲相關狀態。

研究容器日志

• 使用 kubectl logs <pod_name> -c <container_name> 查看特定Pod中容器的日志輸出。

使用專用工具進行故障排查

• kubectl-debug：進入正在運行的Pod進行調試。
• Node Problem Detector (NPD)：檢測節點級別的異常狀態。
• KubeNurse：監控Kubernetes集群網絡的工具。

參考官方文檔和社區資源

• 查閱Kubernetes官方文檔中的故障排除指南。
• 在Kubernetes社區論壇和Stack Overflow上尋求幫助。

通過以上步驟，可以系統地排查和解決在CentOS上部署的Kubernetes集群可能遇到的故障。根據具體情況，可能還需要進一步調查或采取其他措施。