監控Ubuntu上的Hadoop可采用以下方式:
一、自帶工具
- Hadoop Admin UI:通過Web界面查看集群基本狀態。
- ResourceManager Web UI(http://:8088):監控資源分配和任務執行。
- NameNode Web UI(http://:50070):查看HDFS狀態、文件系統信息。
二、第三方工具
- Apache Ambari:支持Hadoop組件集中管理,提供可視化監控和告警。
- Prometheus + Grafana:通過JMX接口采集指標,結合Grafana實現數據可視化。
- Ganglia:分布式監控系統,適合大規模集群,可監控CPU、內存等指標。
三、命令行工具
- hdfs dfsadmin -report:查看數據節點狀態。
- yarn node -list:查看節點信息。
- yarn application -list:查看運行中的作業。
四、自定義監控
編寫腳本定期采集指標(如資源使用率、作業狀態),輸出到日志或集成到監控系統。
五、告警機制
結合工具設置閾值告警(如資源不足、節點故障),通過郵件/短信通知。
以上工具可根據集群規模和需求選擇,小型集群可優先使用自帶工具,大型集群建議采用Ambari+Prometheus組合。