Informix在Linux下的故障排查方法

一、明確問題現象

記錄故障的具體表現（如數據庫無法啟動、查詢響應緩慢、報錯信息等），包括錯誤代碼（如SQLCODE）、發生時間及觸發條件（如特定操作后出現）。嘗試在測試環境重現問題，縮小故障范圍。

二、收集系統與數據庫日志

1. 系統日志分析

• 使用dmesg查看內核日志，檢查硬件（如磁盤、內存）或驅動程序錯誤；
• 查看/var/log/messages、/var/log/syslog或/var/log/auth.log（CentOS），獲取系統級錯誤信息（如服務啟動失敗、權限問題）；
• 使用journalctl -xe（systemd系統）查看實時系統日志。

2. Informix日志分析

• 使用onstat -l查看邏輯日志狀態（是否滿、使用情況）；
• 使用onstat -x檢查事務的邏輯日志起始位置，定位長事務；
• 查看Informix錯誤日志（通常位于/opt/IBM/informix/log/server.log或/var/log/informix/），獲取數據庫內部錯誤詳情。

三、檢查數據庫狀態與服務

1. 數據庫初始化狀態

使用oninit -v檢查數據庫是否正常初始化（共享內存是否加載），若未初始化，嘗試手動啟動：onmode -c startup。

2. 數據庫運行狀態

使用onstat -系列命令監控狀態：

• onstat -c：查看CPU使用及進程信息；
• onstat -m：查看內存使用（緩沖池、鎖等）；
• onstat -d：查看磁盤I/O及數據庫空間使用；
• onstat -s：查看SQL執行統計（慢查詢、執行次數）；
• onstat -g ses：查看當前會話信息（鎖等待、阻塞情況）。

3. 服務狀態管理

使用onmode命令調整數據庫狀態：

• onmode -c status：檢查數據庫當前狀態（在線、離線）；
• onmode -z：緊急模式下修復數據庫（需謹慎使用）；
• onmode -m：切換到多用戶模式（正常運行）。

四、排查常見問題及解決方法

1. 啟動失敗

• 原因：SELinux阻止、配置文件錯誤（onconfig）、依賴服務未啟動（如網絡、磁盤）。
• 解決：
  • 臨時禁用SELinux：setenforce 0，重啟Informix驗證；
  • 檢查onconfig文件（如$INFORMIXDIR/etc/onconfig）中的參數（內存分配、磁盤路徑）；
  • 使用df -h檢查磁盤空間，free -m檢查內存是否充足。

2. 邏輯日志滿

• 現象：數據庫停止接受寫入，報錯“Logical log full”。
• 解決：
  • 檢查邏輯日志備份是否正常（onstat -x查看事務日志起始位置）；
  • 增加邏輯日志：使用onparams -a -d <DBspace> -s <size> -i添加新日志文件；
  • 備份后刪除舊日志：onstat -l確認日志文件后，執行ontape -s -L 0備份并截斷日志。

3. 鎖沖突與長事務

• 現象：查詢阻塞、報錯“Lock wait timeout exceeded”。
• 解決：
  • 使用onstat -u查看鎖等待會話，onstat -g ses分析阻塞鏈；
  • 終止阻塞進程：onmode -z <session_id>（謹慎使用）；
  • 優化事務：縮短長事務（拆分大事務為小事務），調整隔離級別（如使用行級鎖）。

4. I/O失敗或磁盤空間不足

• 現象：無法插入數據、報錯“Disk I/O error”或“Disk full”。
• 解決：
  • 使用df -h檢查磁盤空間，清理不必要的文件（如日志、臨時文件）；
  • 使用iostat -x 1監控磁盤I/O，檢查磁盤是否故障（如高await、%util）；
  • 驗證磁盤權限：確保Informix用戶（如informix）對數據目錄有讀寫權限（chown -R informix:informix /opt/IBM/informix/data）。

5. 性能瓶頸

• 現象：查詢響應慢、CPU/內存使用率高。
• 解決：
  • 使用onstat -c查看CPU熱點（如高CPU的會話或進程）；
  • 使用onstat -m分析內存使用（如緩沖池命中率低，需調整BUFFERS參數）；
  • 使用onstat -d檢查磁盤I/O（如某chunk讀寫慢，需遷移至更快磁盤）；
  • 優化查詢：使用dbaccess執行EXPLAIN分析慢查詢，添加索引或重寫SQL。

五、使用診斷與監控工具

1. Informix自帶工具

• onstat：核心監控工具，覆蓋CPU、內存、磁盤、SQL等全維度指標；
• oncheck：檢查數據庫一致性（oncheck -pt <database>檢查表結構，oncheck -pu <database>修復碎片）。

2. 系統監控工具

• top/htop：實時查看進程資源占用（CPU、內存）；
• vmstat 1：監控虛擬內存（si/so表示磁盤交換頻繁，需調整內存）；
• iostat -x 1：監控磁盤I/O（await表示平均I/O等待時間，%util表示磁盤利用率）；
• netstat -tulnp：查看網絡連接（如端口是否監聽、連接數是否過多）。

3. 第三方工具

• IBM Data Server Manager：全面監控Informix性能、配置、日志，支持告警；
• Prometheus + Grafana：收集onstat數據并可視化，設置性能閾值告警；
• Monit：監控Informix進程狀態（如進程崩潰時自動重啟）。

六、驗證與預防

1. 故障驗證

修復后，通過onstat命令確認狀態恢復正常（如邏輯日志空間充足、鎖等待消失、磁盤I/O正常），并通過簡單查詢（如SELECT 1 FROM systables）驗證數據庫可用性。

2. 預防措施

• 定期備份：使用ontape或onbar工具備份數據庫，測試備份恢復流程；
• 監控告警：設置磁盤空間、內存使用、CPU負載等閾值告警（如df -h | awk '$5 > 90 {print}'）；
• 定期維護：每周執行onstat -g ckp檢查檢查點狀態，每月執行oncheck檢查數據庫一致性，每季度優化索引（ALTER INDEX ... REBUILD）；
• 更新補丁：定期升級Informix到最新版本，應用安全補?。ㄈ鏘BM官方發布的CVE修復）。