如何使用Filebeat監控CentOS系統日志

如何在CentOS上使用Filebeat監控系統日志

1. 安裝Filebeat

Filebeat是Elastic官方提供的輕量級日志收集器，支持CentOS系統。安裝方式有兩種：

• 通過YUM倉庫安裝（推薦）：
  先添加Elastic官方YUM倉庫，再安裝Filebeat：

  sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  sudo tee /etc/yum.repos.d/elasticsearch.repo <<EOF
  [elasticsearch-7.x]
  name=Elastic repository for 7.x packages
  baseurl=https://artifacts.elastic.co/packages/7.x/yum
  gpgcheck=1
  gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  autorefresh=1
  type=rpm-md
  EOF
  sudo yum install -y filebeat
  

• 手動下載RPM包安裝：
  從Elastic官網下載對應版本的RPM包（如filebeat-7.14.0-x86_64.rpm），再用rpm命令安裝：

  sudo rpm -ivh filebeat-7.14.0-x86_64.rpm
  

2. 配置Filebeat監控系統日志

Filebeat的核心配置文件位于/etc/filebeat/filebeat.yml，需修改以下關鍵部分：

• 定義輸入源（filebeat.inputs）：
  啟用log類型輸入，指定要監控的系統日志路徑。例如，監控/var/log目錄下所有.log文件（包括messages、secure等系統日志）：

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/*.log
    ignore_older: 72h  # 忽略72小時前的舊日志（可選，減少資源占用）
  

  若只需監控特定日志（如/var/log/messages和/var/log/secure），可調整為：

  paths:
    - /var/log/messages
    - /var/log/secure
  

• 配置輸出目標（output）：
  將日志發送到Elasticsearch（需提前安裝并運行Elasticsearch）：

  output.elasticsearch:
    hosts: ["localhost:9200"]  # Elasticsearch地址（若不在本地，替換為IP）
    index: "system-logs-%{+yyyy.MM.dd}"  # 自定義索引名稱（按日期分割）
  

  若需先發送到Logstash（需提前安裝并運行Logstash），可配置：

  output.logstash:
    hosts: ["localhost:5044"]  # Logstash地址
  

3. 啟動并啟用Filebeat服務

配置完成后，啟動Filebeat服務并設置為開機自啟：

sudo systemctl daemon-reload  # 重新加載systemd配置（若有修改）
sudo systemctl start filebeat  # 啟動Filebeat
sudo systemctl enable filebeat  # 設置開機自啟

4. 驗證Filebeat運行狀態

• 檢查服務狀態：

  sudo systemctl status filebeat
  

  若顯示“Active: active (running)”，說明服務已正常啟動。
• 查看實時日志：
  通過以下命令查看Filebeat的實時日志，確認是否成功收集并發送日志：

  sudo tail -f /var/log/filebeat/filebeat
  

  若日志中出現“Successfully sent batch of events to Elasticsearch”或“Logstash output is configured”，說明配置生效。

5. 可選：使用Filebeat模塊簡化配置

Filebeat提供了針對常見系統日志（如system、nginx、mysql）的預定義模塊，可直接使用：

• 啟用系統模塊：

  sudo filebeat modules enable system
  

  系統模塊會自動監控/var/log/messages、/var/log/secure等系統日志，并應用預定義的解析規則。
• 配置模塊輸出：
  模塊配置文件位于/etc/filebeat/modules.d/system.yml，可根據需求調整（如過濾字段、添加標簽）。
• 重新加載配置：

  sudo systemctl restart filebeat
  

6. 可選：性能優化（針對大規模日志）

• 調整并發設置：
  在filebeat.yml中增加max_procs（CPU核心數）和queue.mem.events（內存隊列大?。?，提升處理能力：

  max_procs: 4  # 使用4個CPU核心
  queue.mem.events: 4096  # 內存隊列大?。J1024）
  

• 啟用批量發送：
  增加bulk_max_size（每次發送的日志條數），減少網絡請求次數：

  output.elasticsearch:
    bulk_max_size: 512  # 默認為20
  

• 使用filestream輸入（推薦）：
  Filebeat 7.0及以上版本推薦使用filestream輸入類型（替代老舊的log類型），性能更優：

  filebeat.inputs:
  - type: filestream
    enabled: true
    paths:
      - /var/log/*.log
  

通過以上步驟，即可完成Filebeat在CentOS上的部署，實現對系統日志的實時監控與傳輸。后續可通過Kibana連接Elasticsearch，進行日志的可視化分析與告警配置。