如何使用Linux Trigger進行日志監控

Linux Trigger日志監控的核心邏輯與實現方法
Linux Trigger（觸發器）是一種事件驅動的監控機制，通過預定義的條件（如日志中的關鍵字、系統狀態變化）觸發相應操作（如發送警報、執行腳本）。其本質是將“事件檢測”與“響應動作”綁定，實現日志監控的自動化。以下是具體的實現路徑：

一、基礎命令行工具：快速實現簡單日志監控與觸發

對于臨時或簡單的日志監控需求，可通過組合基礎命令實現實時觸發：

• tail -f + grep：實時跟蹤日志文件并篩選關鍵字。例如，監控/var/log/syslog中的“error”日志，觸發終端輸出：

  tail -f /var/log/syslog | grep --line-buffered "error"
  

  可擴展為將輸出重定向到腳本（如發送郵件），增強實用性。
• watch命令：定期執行日志檢查（如每5秒掃描一次），適合無法使用tail -f的場景：

  watch -n 5 "grep 'error' /var/log/syslog"
  

  通過-n參數調整檢查頻率，滿足不同場景需求。

二、專業日志管理工具：構建自動化觸發體系

對于生產環境，建議使用專業工具實現集中化日志監控與智能觸發：

• ELK Stack（Elasticsearch+Logstash+Kibana）：
  • Logstash：收集、解析日志（如從/var/log/syslog提取時間、級別、消息字段）；
  • Elasticsearch：存儲日志數據，支持全文檢索；
  • Kibana：通過Alerting功能設置觸發器（如“5分鐘內出現10次‘connection refused’”），觸發郵件、Slack通知或調用Webhook。
• Zabbix：
  • 通過Log監控項（log[]）采集日志（如log[/var/log/secure,"(Accepted|Failed) password",,,skip]）；
  • 配置觸發器表達式（如{host:log[/var/log/secure,"Failed password"].str(Failed)}=1），當檢測到“Failed password”時觸發警報。
• Graylog：
  • 集中收集日志（支持Syslog、Filebeat等來源）；
  • 通過Stream Rules設置觸發條件（如“日志級別=ERROR”），觸發通知（郵件、PagerDuty）或自動響應（重啟服務）。

三、系統級Auditd觸發：深度監控關鍵事件

若需監控系統調用或文件訪問等底層事件（如用戶執行rm命令），可使用auditd（Linux審計框架）：

• 安裝與配置：

  sudo apt install auditd audispd-plugins  # Debian/Ubuntu
  sudo yum install audit                   # RHEL/CentOS
  

  添加審計規則（監控execve系統調用，觸發時執行腳本）：

  sudo auditctl -a always,exit -F arch=b64 -S execve -k user_actions
  

  將觸發事件與腳本綁定（如記錄到/var/log/user_trigger.log）：

  sudo auditctl -a always,exit -F arch=b64 -S execve -k user_actions -p x -F exe=/bin/rm -F success=1 -F auid>=1000 -F auid!=4294967295 -k user_rm_action
  

  通過ausearch查詢觸發事件（如ausearch -k user_rm_action），確認觸發是否生效。

四、日志輪轉與優化：避免觸發失效

為防止日志文件過大導致觸發器失效，需配置日志輪轉（logrotate）：

• 編輯/etc/logrotate.conf（全局配置）或/etc/logrotate.d/syslog（針對syslog）：

  /var/log/syslog {
      daily                  # 每天輪轉
      rotate 7               # 保留7份
      compress               # 壓縮舊日志
      missingok              # 文件不存在時不報錯
      notifempty             # 日志為空時不輪轉
      sharedscripts          # 所有日志輪轉完成后執行腳本
      postrotate
          /usr/bin/killall -HUP rsyslogd  # 重啟rsyslog，重新打開日志文件
      endscript
  }
  

  確保觸發器指向輪轉后的日志文件（如/var/log/syslog.1），避免遺漏事件。

五、注意事項

• 權限控制：確保監控工具（如auditd、zabbix-agent）有權限讀取目標日志文件；
• 性能影響：高頻監控（如tail -f）可能增加系統負載，建議結合日志輪轉和采樣（如每10秒檢查一次）；
• 觸發條件優化：避免過于寬泛的條件（如“包含‘error’”），減少誤報；可結合多條件（如“error”+“數據庫連接失敗”）提高準確性。