k8s部署在centos上如何進行故障排查

在CentOS上部署Kubernetes（k8s）并進行故障排查時，可以遵循以下步驟：

1. 檢查集群狀態

• 使用 kubectl get nodes 命令檢查節點狀態，確保所有節點正常運行。
• 檢查etcd、kubelet和kube-proxy等關鍵組件的狀態。

2. 查看Pod狀態

• 使用 kubectl get pods --all-namespaces 命令獲取所有Pod的狀態。
• 對于未處于運行狀態的Pod，使用 kubectl describe pod <pod_name> 查看詳細信息，以便深入排查問題。

3. 檢查事件日志

• 使用 kubectl get events 命令查看集群中發生的事件，這些事件可能包含有關故障的線索。

4. 檢查系統資源

• 檢查內存使用狀態：free -g
• 查詢并計算物理CPU數量：cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
• 檢測系統盤IO性能：使用 dd 命令測試4k小文件讀寫速度。

5. 查看日志文件

• 查看Kubernetes組件的日志：journalctl -xe | grep kubelet
• 查看系統日志：tail -f /var/log/messages
• 查看開機信息、內核信息、硬件問題等：dmesg -T
• 查看數據庫錯誤日志：tail -f /sysvol/mariadb/mariadb_data/mysql-error.log

6. 解決內存泄露問題

• 如果出現 cannot allocate memory 或 no space left on device 錯誤，檢查是否存在內存泄露。
• 查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件，判斷是否存在內存泄露。

7. 解決網絡問題

• 如果遇到網絡問題，考慮升級CentOS內核版本。例如，從CentOS 7.8升級到更高版本的內核。

8. 檢查存儲配置

• 確保Persistent Volumes和Storage Classes配置正確。
• 使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令檢查存儲相關狀態。

9. 研究容器日志

• 使用 kubectl logs <pod_name> -c <container_name> 查看特定Pod中容器的日志輸出。

通過以上步驟，可以系統地排查和解決在CentOS上部署的Kubernetes集群可能遇到的故障。根據具體情況，可能還需要進一步調查或采取其他措施。