Linux環境下MongoDB的故障排查

Linux環境下MongoDB故障排查指南

1. 日志優先：快速定位問題根源

日志是故障排查的核心線索，Linux下MongoDB的日志主要分布在兩個位置：

• 系統日志：通過journalctl -u mongod.service查看與MongoDB相關的系統級錯誤（如服務啟動失敗、權限問題）；
• MongoDB自身日志：默認路徑為/var/log/mongodb/mongod.log（可通過cat /etc/mongod.conf | grep logpath確認），使用tail -f /var/log/mongodb/mongod.log實時追蹤最新日志，重點關注“ERROR”“FAILED”等關鍵詞。

2. 服務狀態檢查：確認MongoDB是否運行

使用systemctl status mongod.service命令檢查服務狀態：

• 若顯示“active (running)”，說明服務正常；
• 若顯示“inactive (dead)”或“failed”，嘗試啟動服務：sudo systemctl start mongod.service；
• 若啟動失敗，需結合日志分析具體原因（如配置錯誤、端口占用）。

3. 配置文件驗證：排除配置錯誤

MongoDB的主配置文件通常為/etc/mongod.conf，需重點檢查以下關鍵配置項：

• 端口：net.port（默認27017），確保未被其他進程占用；
• 數據目錄：storage.dbPath（如/var/lib/mongodb），需存在且具備正確權限；
• 日志路徑：systemLog.path，確保目錄可寫；
• 綁定IP：net.bindIp（如0.0.0.0允許遠程連接，127.0.0.1僅本地連接）；
• 認證設置：security.authorization（若啟用，需提前創建用戶）。
  可使用mongod --config /etc/mongod.conf --fork測試配置文件語法是否正確。

4. 權限問題：解決“Access Denied”或“Cannot open file”

MongoDB對數據目錄和日志文件的權限要求嚴格，常見錯誤包括“Permission denied”“Cannot open file”：

• 數據目錄權限：將數據目錄所有者改為mongod用戶（或運行服務的用戶），執行sudo chown -R mongod:mongod /var/lib/mongodb（路徑以配置文件為準）；
• 日志文件權限：確保日志目錄可寫，如sudo chown -R mongod:mongod /var/log/mongodb；
• SELinux設置：若系統啟用SELinux，可臨時設置為permissive模式測試（setenforce 0），或通過audit2allow生成自定義規則。

5. 端口與網絡：解決“Connection refused”或“Timeout”

若出現連接問題，需檢查端口和網絡配置：

• 端口占用：使用ss -tuln | grep 27017查看27017端口是否被MongoDB占用，若有其他進程占用，通過kill -9 <PID>終止；
• 防火墻設置：開放27017端口（CentOS用firewall-cmd --permanent --add-port=27017/tcp，Ubuntu用ufw allow 27017），并重載防火墻；
• 網絡連通性：通過ping <MongoDB服務器IP>測試網絡連通性，telnet <IP> 27017測試端口是否可達。

6. 磁盤空間與資源：解決“Disk full”或“Too many open files”

• 磁盤空間：使用df -h檢查數據目錄所在磁盤的剩余空間，若使用率超過80%，需清理舊數據（如歸檔日志、備份文件）；
• 文件描述符限制：MongoDB高并發時可能因文件描述符不足報錯“Too many open files”，需調整ulimit：
  編輯/etc/security/limits.conf，添加mongod soft nofile 65535和mongod hard nofile 65535；
  編輯/lib/systemd/system/mongod.service，在[Service]段添加LimitNOFILE=65535，然后執行systemctl daemon-reload。

7. 性能診斷：識別慢查詢與資源瓶頸

使用MongoDB自帶工具實時監控性能：

• mongostat：每秒刷新操作次數、響應時間等指標，如mongostat --host <IP> --port 27017；
• mongotop：按集合統計讀寫時間，如mongotop --host <IP> --port 27017；
• db.serverStatus()：獲取實例詳細狀態（連接數、內存使用、鎖等待等），在mongo shell中執行db.serverStatus()；
• 日志分析：使用mtools工具包（pip3 install mtools）分析慢查詢，如mlogfilter mongod.log --slow 1000 | mplotqueries --type scatter。

8. 存儲引擎故障：修復WiredTiger錯誤

若日志中出現“WiredTiger error”（如數據文件損壞、磁盤空間不足），需進行存儲引擎修復：

• 數據恢復：停止MongoDB服務，執行mongod --repair --dbpath /var/lib/mongodb（路徑以配置文件為準）；
• 備份數據：修復前務必備份數據目錄，避免二次損壞；
• 預防措施：定期備份（如使用mongodump），監控磁盤空間。

9. 高級故障：復制集與分片問題

• 復制集異常：若出現“Replica set not initialized”“not reachable”，需檢查節點狀態（rs.status()），確保多數節點在線，修復網絡分區；
• 分片集群問題：若出現“sharding state not ok”，需檢查配置服務器（configsvr）狀態，確保分片平衡（sh.status()）。

10. 預防與監控：減少故障發生

• 啟用監控：使用Prometheus+Grafana監控MongoDB的關鍵指標（如CPU、內存、連接數、QPS）；
• 定期維護：每月清理舊數據，每季度測試備份恢復流程；
• 版本升級：保持MongoDB版本最新，修復已知漏洞（如通過yum update mongod或apt upgrade mongodb）。