CentOS下Filebeat與Logstash配合使用

在CentOS系統下，Filebeat和Logstash可以配合使用，以實現日志的收集、處理和轉發。以下是配置和使用這兩個組件的基本步驟：

1. 安裝Filebeat

首先，你需要在CentOS上安裝Filebeat。你可以從Elastic官方網站下載最新版本的Filebeat，并按照官方文檔進行安裝。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-amd64.deb
sudo dpkg -i filebeat-7.10.0-amd64.deb

2. 配置Filebeat

安裝完成后，你需要配置Filebeat以指定要收集的日志文件和發送日志的目標（即Logstash）。

編輯Filebeat配置文件 /etc/filebeat/filebeat.yml：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts: ["localhost:5044"]

在這個配置中，Filebeat會收集 /var/log/ 目錄下的所有日志文件，并將它們發送到運行在 localhost 上的Logstash實例，監聽端口為 5044。

3. 安裝Logstash

接下來，安裝Logstash。你可以從Elastic官方網站下載最新版本的Logstash，并按照官方文檔進行安裝。

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -xzf logstash-7.10.0-linux-x86_64.tar.gz
cd logstash-7.10.0

4. 配置Logstash

安裝完成后，你需要配置Logstash以接收來自Filebeat的日志并進行處理。

創建一個新的Logstash配置文件 logstash.conf：

input {
  beats {
    port => 5044
  }
}

filter {
  # 在這里添加你的日志處理邏輯，例如解析JSON、提取字段等
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  # 輸出到Elasticsearch或其他目標
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "filebeat-%{+YYYY.MM.dd}"
  }
}

在這個配置中，Logstash會監聽來自Filebeat的輸入，使用 grok 過濾器解析日志，并將處理后的日志輸出到Elasticsearch。

5. 啟動Filebeat和Logstash

最后，啟動Filebeat和Logstash服務：

sudo systemctl start filebeat
sudo systemctl enable filebeat

sudo systemctl start logstash
sudo systemctl enable logstash

6. 驗證配置

確保Filebeat和Logstash都在運行，并且日志正在正確地從Filebeat傳輸到Logstash，然后從Logstash傳輸到Elasticsearch。

你可以使用以下命令檢查Filebeat和Logstash的狀態：

sudo systemctl status filebeat
sudo systemctl status logstash

此外，你可以訪問Elasticsearch的Kibana界面（通常是 http://localhost:5601）來查看和分析日志數據。

通過以上步驟，你就可以在CentOS系統下成功配置和使用Filebeat與Logstash來處理日志數據了。