Filebeat在Debian上的數據存儲優化

在Debian系統上優化Filebeat的數據存儲，可以通過以下幾個策略進行：

控制Filebeat自身日志大小

• 編輯Filebeat配置文件：
  • 增加或確認如下配置：

    logging:
      level: warning # 設置為 warning 或 error，減少不必要的 info/debug 日志
    to_files: true
    files:
      path: /var/log/filebeat
      name: filebeat.log
      keepfiles: 7 # 只保留最近 7 個日志文件
      rotateeverybytes: 10485760 # 每個日志最大 10MB
    

定期清理registry文件

• 謹慎使用：
  • 如果日志文件已歸檔、清理，可以清空對應狀態（僅限在你確定不會影響采集完整性的前提下）：

    sudo systemctl stop filebeat
    sudo rm -rf /var/lib/filebeat/registry/filebeat/*
    sudo systemctl start filebeat
    

  • 風險提示：這樣做會讓Filebeat重新讀取所有還存在的日志文件。

合理配置采集日志的“關閉條件”

• 避免Filebeat長期追蹤已不再更新的舊日志文件：
  • 添加如下配置：

    filebeat.inputs:
      - type: log
        paths:
          - /var/log/*.log
        close_inactive: 5m # 文件 5 分鐘無寫入就關閉追蹤
        clean_inactive: 48h # 文件 48 小時無寫入 + close 狀態，將從 registry 移除
        ignore_older: 24h # 忽略 24 小時前的舊文件
    

啟用磁盤隊列但限制緩存空間

• 在網絡或目標端（如Elasticsearch）波動時：
  • 配置磁盤隊列：

    queue.disk:
      enabled: true
      max_size: 1024 # 單位 MB，最大緩存 1GB
      path: "/var/lib/filebeat/queue"
    

  • 同時定期清理 /var/lib/filebeat/queue 中舊文件。

日志源本地輪轉

• 對于采集的源日志文件（如nginx、systemd、應用日志）增長過快：
  • 開啟logrotate管理日志文件
  • 定期壓縮、刪除舊日志
  • 示例配置 /etc/logrotate.d/nginx：

通過上述配置和優化措施，可以有效地提升Filebeat在Debian系統上處理大量日志的能力，確保日志系統的性能和可靠性。