centos k8s集群監控與告警設置

在CentOS上部署Kubernetes（k8s）集群并設置監控告警，可以采用多種工具和方案。以下是一個基于Prometheus和Grafana的常見解決方案：

1. 部署Prometheus

Prometheus是一個開源的監控和告警工具，可以通過kube-state-metrics等exporter收集Kubernetes集群的各類指標數據。

安裝步驟：

• 安裝Helm：

wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz
tar zxvf helm-v3.8.1-linux-amd64.tar.gz
sudo mv linux-amd64/helm /usr/local/bin/

• 添加Prometheus和Grafana的Helm倉庫：

helm repo add grafana https://grafana.github.io/helm-charts
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

• 安裝Prometheus和Grafana：

helm install prometheus stable/prometheus -n monitoring
helm install grafana stable/grafana -n monitoring

• 配置Prometheus：編輯 prometheus/values.yaml 文件，配置抓取的目標（包括kube-state-metrics、node等）。

2. 配置Alertmanager

Alertmanager用于處理Prometheus生成的告警，并通過多種方式（如郵件、Slack等）發送通知。

安裝步驟：

• 安裝Alertmanager：

helm install alertmanager stable/alertmanager -n monitoring

• 配置Alertmanager：編輯 alertmanager/values.yaml 文件，配置告警接收方式。

3. 監控和告警規則配置

在Prometheus中，告警規則通常存儲在 prometheus.yml 或單獨的規則文件中。

示例告警規則：

groups:
  - name: kubernetes-alerts
    rules:
    - alert: HighCpuUsage
      expr: sum(rate(container_cpu_usage_seconds_total{job="kubelet", cluster="", container!="POD", container!""}[5m])) by (container) > 0.85
      for: 2m
      labels:
        severity: critical
      annotations:
        summary: "CPU usage is too high"
        description: "CPU usage of container in pod is above 85% for the last 2 minutes."
    - alert: PodCrashLoopBackOff
      expr: kube_pod_container_status_restarts_total{job="kubelet", cluster":""} > 5
      for: 10m
      labels:
        severity: warning
      annotations:
        summary: "Pod CrashLoopBackOff detected"
        description: "Pod in namespace has restarted more than 5 times in the last 10 minutes."

4. 可視化和告警管理

使用Grafana可以創建自定義的儀表盤，并查看告警狀態。

訪問Grafana：

kubectl port-forward -n monitoring grafana-prometheus-operator-grafana-0 3000

然后在瀏覽器中訪問 http://<node-ip>:3000，使用配置的Grafana賬號登錄。

5. 其他監控工具和方案

除了Prometheus和Grafana，還可以考慮以下方案：

• kube-prometheus-stack：通過Helm一鍵部署Prometheus、Grafana、Alertmanager及多種exporter，適合快速部署和監控Kubernetes集群。
• Weave Scope：提供容器和應用的可視化監控，適合故障排查和性能分析。

通過上述步驟，可以在CentOS上的Kubernetes集群中實現有效的監控和告警。選擇合適的工具和方案，可以顯著提升集群的可管理性和穩定性。