CentOS下Filebeat日志收集實戰

在CentOS下配置和運行Filebeat進行日志收集是一個相對簡單的過程。以下是詳細的步驟指南，幫助你完成這一任務。

1. 安裝Filebeat

首先，你需要下載并安裝適合CentOS的Filebeat版本?？梢詮腅lastic官方網站下載對應的安裝包。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.0.0-linux-x86_64.tar.gz
tar -zxvf filebeat-8.0.0-linux-x86_64.tar.gz
cd filebeat-8.0.0-linux-x86_64

2. 配置Filebeat

解壓后，進入Filebeat的配置文件目錄：

cd filebeat-8.0.0-linux-x86_64

使用文本編輯器（如vim）編輯 filebeat.yml 配置文件。以下是一個基本的配置示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/*.log

output.elasticsearch:
  hosts:
  - "localhost:9200"

在這個配置中，filebeat.inputs 部分指定了Filebeat應該監控的日志文件路徑，output.elasticsearch 部分指定了Filebeat將日志數據發送到Elasticsearch的地址和端口。

3. 啟動Filebeat

配置完成后，你可以啟動Filebeat服務：

./filebeat -e -c filebeat.yml

這將啟動Filebeat并以調試模式加載配置文件。

4. 設置Filebeat自啟動

為了讓Filebeat在系統啟動時自動運行，你需要創建一個systemd服務文件。

sudo vi /etc/systemd/system/filebeat.service

將以下內容粘貼到文件中：

[Unit]
Description=Filebeat
Wants=network-online.target
After=network-online.target

[Service]
User=root
Group=root
ExecStart=/usr/local/bin/filebeat -e -c /etc/filebeat/filebeat.yml
Restart=always

[Install]
WantedBy=multi-user.target

保存并退出編輯器。然后，啟用并啟動Filebeat服務：

sudo systemctl daemon-reload
sudo systemctl enable filebeat
sudo systemctl start filebeat

5. 驗證配置

你可以使用以下命令檢查Filebeat的狀態，確保它正在運行：

sudo systemctl status filebeat

此外，你還可以檢查Elasticsearch中是否創建了相應的索引，以確認Filebeat是否成功將日志數據發送到Elasticsearch。

6. 高級配置

根據具體需求，你可以進行以下高級配置：

• 性能優化：增加 harvester 數量，通過合理配置 max_file_size 和 scan_frequency ，確保對大文件的處理不會造成延遲。
• 多行日志處理：使用 multiline 模塊處理多行日志。
• JSON日志處理：使用 json 模塊處理JSON格式的日志。

filebeat.inputs:
- type: log
  paths:
  - /var/log/*.log
  harvester:
    max_bytes: 1048576

processors:
- dissect:
  tokenizer: "%{logDate} %{logTime} %{logLevel} %{pid}thread} %{logger} : %{message}"
  field: "message"

7. 監控和調試

使用Elastic Stack的監控工具，監測Filebeat的性能指標，如日志處理速度、延遲等，及時發現瓶頸。

monitoring.enabled: true
monitoring.elasticsearch.hosts:
- "localhost:9200"

通過以上步驟，你應該能夠在CentOS上成功配置和運行Filebeat。如果有任何問題，請參考Filebeat官方文檔進行排查。