Ubuntu K8S日志管理技巧

Ubuntu K8S日志管理技巧

一、基礎日志查看與臨時排查

• kubectl logs命令：K8S原生工具，用于直接查看Pod容器日志?；菊Z法：kubectl logs <pod-name>；若Pod有多個容器，需通過-c <container-name>指定容器（如kubectl logs my-pod -c nginx）；可添加-f參數實時跟蹤日志（類似tail -f），--tail=100查看最后100行（避免日志過多）。

二、日志收集方案選擇

• Sidecar容器模式：在同一個Pod中添加專用日志收集容器（如Fluentd、Filebeat），與主容器共享EmptyDir卷。主容器將日志寫入共享目錄，Sidecar容器讀取并發送到日志后端（如Elasticsearch）。優點是日志分類清晰（如Nginx日志與業務日志分離），缺點是增加資源消耗（每個Pod多一個容器）。
• 集群級DaemonSet模式：通過DaemonSet在每個節點上部署日志收集器（如Fluent Bit、Logstash），自動收集節點上所有Pod的日志（從/var/log/containers或Docker日志目錄讀?。?。優點是統一管理、資源利用率高，適合大規模集群。
• 應用直接推送：應用程序直接將日志發送到日志系統（如Elasticsearch、Kafka），無需運維介入。優點是減少中間環節、降低運維成本，缺點是對應用代碼有侵入性（需修改應用代碼實現日志推送）。

三、日志輪轉與磁盤空間管理

• Logrotate配置：使用Logrotate工具對日志文件進行輪轉（切割）、壓縮和刪除，防止磁盤空間滿載。安裝：apt-get install logrotate -y；配置示例（針對應用日志）：在/etc/logrotate.d/下創建配置文件（如myapp），內容如下：

  /path/to/app/logs/*.log {
    size 100M       # 日志文件達到100MB時輪轉
    rotate 10       # 保留最近10個輪轉文件
    compress        # 壓縮舊日志（如.gz格式）
    delaycompress   # 延遲壓縮（避免影響當前日志寫入）
    missingok       # 日志文件不存在時不報錯
    notifempty      # 日志為空時不輪轉
  }
  

  Logrotate可通過Cron定時任務（如每天凌晨）自動執行。

四、集中化日志存儲與可視化

• EFK Stack（Elasticsearch + Fluentd + Kibana）：
  • Elasticsearch：分布式搜索引擎，用于存儲和索引日志，支持快速檢索（如按時間、關鍵詞查詢）。
  • Fluentd：集群級日志收集器（以DaemonSet部署），從節點或Pod收集日志，過濾（如去除敏感信息）后發送到Elasticsearch。
  • Kibana：可視化工具，通過Web界面展示日志（如折線圖、柱狀圖、表格），支持自定義Dashboard（如監控應用錯誤率、請求延遲）。
• Loki + Promtail + Grafana：
  • Loki：輕量級日志聚合系統（由Grafana Labs開發），專注于日志存儲和查詢，資源消耗比ELK低（適合資源有限的Ubuntu環境）。
  • Promtail：日志收集器（以DaemonSet部署），收集節點上Pod的日志并發送到Loki。
  • Grafana：可視化工具，通過Loki數據源展示日志（如日志搜索、Dashboard），可與Prometheus集成（實現日志與指標關聯）。

五、高級日志分析與監控

• 日志過濾與分析：使用EFK或Loki的查詢語法過濾日志（如Elasticsearch的query_string查詢、Loki的{job="nginx"}標簽過濾），快速定位問題（如應用錯誤日志level=error）。
• 日志告警：通過Prometheus Alertmanager或Grafana Alerts設置日志告警規則（如1分鐘內出現5次500 Internal Server Error，發送郵件或Slack通知），及時響應異常。
• 多容器日志聚合：使用Kubetail或Stern工具同時查看多個Pod的日志（如kubetail app-name），支持彩色輸出（區分不同Pod/容器）、正則表達式過濾（如kubetail "app.*demo"），提升運維效率。