如何清洗Nginx日志數據

清洗Nginx日志數據可通過以下方式實現，分為無效數據清洗和**日志管理（切割/刪除）**兩類：

一、清洗無效數據（保留有效日志）

通過腳本或工具過濾無效內容（如錯誤格式、特定關鍵字），保留結構化數據。

1. Python腳本清洗

• 適用場景：清洗特定格式的無效數據（如含“invalid_data”的行）。
• 步驟：
  1. 確定Nginx日志格式（參考log_format配置）。
  2. 編寫腳本，用正則表達式匹配并過濾無效行，保存為新文件。

  import re  
  with open('/var/log/nginx/access.log', 'r') as f:  
      lines = f.readlines()  
  pattern = re.compile(r'invalid_data')  # 替換為實際無效數據模式  
  with open('/var/log/nginx/cleaned_access.log', 'w') as f:  
      f.writelines([line for line in lines if not pattern.search(line)])  
  

  3. 執行腳本后，用新文件替換原日志（需配合Nginx重載）。

2. 工具清洗（推薦大規模數據）

• PySpark：適合海量日志，支持正則提取、字段校驗（如過濾無效狀態碼）。
• Logstash：可配置過濾規則，清洗后輸出到新存儲（如Elasticsearch）。

二、日志管理（切割/刪除舊日志）

通過工具自動切割日志并刪除過期文件，避免磁盤占滿。

1. 使用Logrotate（推薦）

• 功能：按天/按大小切割日志，自動壓縮并刪除舊文件（如保留7天）。
• 配置步驟：
  1. 編輯配置文件/etc/logrotate.d/nginx：

     /var/log/nginx/*.log {  
         daily  
         rotate 7  
         compress  
         missingok  
         postrotate  
             [ -f /var/run/nginx.pid ] && kill -USR1 `cat /var/run/nginx.pid`  
         endscript  
     }  
     

  2. 手動測試：logrotate -f /etc/logrotate.d/nginx。

2. Shell腳本手動清理

• 快速清理：直接清空日志文件（不推薦長期使用，可能導致Nginx異常）。

  > /var/log/nginx/access.log  
  > /var/log/nginx/error.log  
  nginx -s reload  # 重新加載Nginx  
  

• 定時刪除舊日志：通過cron定期刪除超過指定天數的日志（如30天）。

  # 示例腳本（保存為clean_nginx_logs.sh）  
  find /var/log/nginx/ -type f -name "*.log.*" -mtime +30 -exec rm -f {} \;  
  nginx -s reload  
  

  添加定時任務：crontab -e，添加0 0 * * * /path/to/script.sh。

注意事項

• 避免直接刪除日志文件：需通過Nginx重載或kill -USR1通知進程重新打開日志，否則可能導致寫入失敗。
• 優先使用Logrotate：適合生產環境，支持自動化管理和日志壓縮，減少人工干預。
• 清洗前備份：清洗前建議備份原始日志，避免誤刪重要數據。