Filebeat如何與Logstash在CentOS上協同工作

在CentOS系統上，Filebeat和Logstash可以協同工作以實現日志的收集、處理和轉發。以下是一個詳細的步驟指南，幫助你在CentOS上配置Filebeat與Logstash協同工作：

1. 安裝Filebeat和Logstash

首先，確保你的CentOS系統已經安裝了Elastic Stack（包括Elasticsearch、Logstash和Kibana）。如果沒有安裝，可以參考Elastic官方文檔進行安裝。

安裝Filebeat

sudo yum install filebeat

安裝Logstash

sudo yum install logstash

2. 配置Filebeat

編輯Filebeat的配置文件，通常位于 /etc/filebeat/filebeat.yml。你需要指定輸出插件為Logstash，并提供Logstash的地址和端口。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts:
    - "logstash_server_ip:5044"  # Logstash的地址和端口

將 logstash_server_ip 替換為你的Logstash服務器的實際IP地址。

3. 配置Logstash

編輯Logstash的配置文件，通常位于 /etc/logstash/conf.d/ 目錄下。你需要創建一個新的配置文件，比如 filebeat.conf，并在其中定義輸入、過濾和輸出插件。

input {
  beats {
    port: 5044
  }
}

filter {
  # 在這里添加你的過濾器配置
  grok {
    match {
      "message" => "%{COMBINEDAPACHELOG}"
    }
  }
  date {
    match [
      "timestamp",
      "dd/MMM/yyyy:HH:mm:ss Z"
    ]
  }
}

output {
  elasticsearch {
    hosts [
      "elasticsearch_host:9200"
    ]
    index "filebeat-%{YYYY.MM.dd}"
  }
}

將 elasticsearch_host 替換為你的Elasticsearch服務器的實際IP地址。

4. 啟動Filebeat和Logstash

配置完成后，啟動Filebeat和Logstash服務并設置開機自啟動。

sudo systemctl start filebeat
sudo systemctl enable filebeat
sudo systemctl start logstash
sudo systemctl enable logstash

5. 驗證配置

確保Filebeat和Logstash都在運行，并且Filebeat能夠成功地將日志發送到Logstash。你可以通過查看Filebeat和Logstash的日志文件來驗證配置是否正確。

• Filebeat日志: /var/log/filebeat/filebeat
• Logstash日志: /var/log/logstash/logstash-plain.log

sudo journalctl -u filebeat -f
sudo journalctl -u logstash -f

6. 監控和調試

使用Kibana來監控和調試你的日志處理流程。確保Kibana已經連接到Elasticsearch，并且可以訪問Filebeat和Logstash的數據。

通常，Kibana的默認地址是 http://localhost:5601。

通過以上步驟，你應該能夠在CentOS上成功配置Filebeat與Logstash協同工作。如果有任何問題，請參考Elastic官方文檔或尋求社區幫助。