監控HDFS運行狀態可通過以下方式:
- 命令行工具:
hdfs dfsadmin -report:查看集群狀態、節點信息及存儲使用情況。
hdfs fsck /:檢查文件系統健康,檢測損壞或丟失的塊。
- Web界面:
- NameNode Web UI(默認端口9870):監控集群總覽、節點狀態、存儲分布等。
- 第三方監控工具:
- Prometheus + Grafana:采集JMX指標,可視化監控存儲容量、讀寫延遲、副本狀態等。
- Zabbix/Ganglia:支持分布式監控,可配置磁盤、網絡、JVM等指標告警。
- Ambari/Cloudera Manager:集成部署與監控,適合CDH/HDP集群。
- 日志分析:
- 分析NameNode/DataNode日志(路徑:
/var/log/hadoop-hdfs/),定位異?;蛐阅芷款i。
- JMX監控:
- 通過JMX接口(如
http://<nn-host>:9870/jmx)獲取節點內存、GC、RPC等指標。
關鍵指標:存儲使用率、副本狀態、節點心跳、RPC響應時間、JVM堆內存等。