在Debian上監控Hadoop集群狀態,可使用以下工具及方法:
http://<namenode-ip>:9870
(Hadoop 3.x)或50070
(2.x),查看HDFS狀態。http://<resourcemanager-ip>:8088
,監控作業及資源使用。hdfs dfsadmin -report
:查看DataNode狀態。yarn node -list
/yarn application -list
:查看節點或作業狀態。hadoop-metrics2.properties
。gmond
/gmetad
,配置hadoop-metrics2.properties
以收集指標。hadoop-env.sh
)以暴露JMX接口,便于Prometheus等工具采集。根據需求選擇工具,輕量級場景可用原生Web UI或命令行,大規模集群推薦Ambari或Prometheus+Grafana組合。