采用filebeat收集日志，日志文件頻繁rotate，造成filebeat占用文件不釋放，只要filebeat保持著被刪除文件Open狀態，操作系統就不釋放磁盤空間，導致可用磁盤空間逐漸減小。如下監控圖，殺掉filebeat進程之后，磁盤占用陡然下降。
使用lsof命令查看filebeat保持著的文件資源，可以發現許多被filebeat占用空間的失效文件（deleted）文件。
deleted狀態的文件沒有釋放，始終占據磁盤空間
解決辦法：
查看filebeat配置文件位置： /etc/filebeat/filebeat.yml
在配置文件中添加close_timeout： 5m，保證每隔5分鐘file handler被關閉，不管是否遇到EOF符號。
需要注意的是，該close_timeout參數在Filebeat沒有處理到文件末尾而文件被刪除的情況下，會導致數據丟失。
filebeat.prospectors:
- type: log
paths:
- /opt/apps/ecm/service/storm/1.0.1/package/apache-storm-1.0.1/logs/workers-artifacts/xyz*/*/worker.log
tail_files: false
force_close_files: true
close_timeout: 5m
processors:
- add_cloud_metadata: ~
output.logstash:
hosts: ["10.10.10.10:6667"]
loadbalance: true
worker: 1
-----------------------------------------------------------------
close_rename，close_removed，close_eof，close_inactive等配置型對于（deteled）狀態處理均無效（已測試驗證）
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
