Debian上Filebeat配置文件詳解

在Debian上配置Filebeat主要涉及編輯/etc/filebeat/filebeat.yml文件。以下是一個基本的配置文件示例及其詳解：

filebeat.inputs:
- type: log
  paths:
    - /var/log/*.log
  exclude_files: ['*.gz']
  fields:
    app_id: my_app
  fields_under_root: true

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{+YYYY.MM.dd}"
  document_type: my_custom_type

配置詳解

• filebeat.inputs

  • type: 指定輸入類型，這里使用的是log，表示從日志文件中讀取數據。
  • paths: 指定要監控的日志文件路徑，可以使用通配符。
  • exclude_files: 排除某些文件類型，例如這里的.gz文件。
  • fields: 向輸出的每條日志添加額外的信息，例如app_id。
  • fields_under_root: 設置為true時，新增的fields會成為頂級目錄，而不是放在fields目錄下。

• output.elasticsearch

  • hosts: 指定Elasticsearch的地址和端口。
  • index: 指定Elasticsearch中的索引名稱，可以使用動態模板。
  • document_type: 指定輸出到Elasticsearch時的文檔類型。

其他重要配置項

• global.config_dir

  • 定義Filebeat配置文件目錄，可以在此目錄下放置其他配置文件，這些文件中的全局配置會被忽略。

• harvester.buffer_size

  • 每個harvester監控文件時使用的buffer大小。

• harvester.max_bytes

  • 日志文件中增加一行算一個日志事件，max_bytes限制在一次日志事件中最多上傳的字節數，多出的字節會被丟棄。

• multiline.pattern

  • 定義多行匹配的模式，適用于日志中每一條日志占據多行的情況。

• multiline.negate

  • 是否需要對pattern條件取反。

• multiline.match

  • 定義多行內容被添加到模式匹配行之后還是之前。

• multiline.max_lines

  • 合并的最多行數，超過定義行數后的行會被丟棄。

• multiline.timeout

  • 多行匹配超時時間，超過超時時間后的當前多行匹配事件將停止并發送。

• multiline.tail_files

  • 設置為true時，Filebeat從文件尾開始監控文件新增內容。

• close_renamed

  • 當文件被重命名或被輪詢時關閉重命名的文件處理。

• close_removed

  • 如果文件不存在，立即關閉文件處理。

• ignore_older

  • 指定Filebeat忽略指定時間段以外修改的日志內容。

• close_older

  • 如果一個文件在某個時間段內沒有發生過更新，則關閉監控的文件handle。

• force_close_files

  • Filebeat會在沒有到達close_older之前一直保持文件的handle。

• scan_frequency

  • Filebeat以多快的頻率去prospector指定的目錄下面檢測文件更新。

• document_type

  • 設定Elasticsearch輸出時的document的type字段。

以上就是Debian上Filebeat配置文件的基本詳解，根據實際需求，您可能還需要進行更多的配置。