在CentOS上監控Hadoop任務,可使用以下工具和方法:
- Web界面:通過YARN的ResourceManager Web UI(http://resourcemanager:8088)可查看任務運行狀態、資源使用等。若使用Ambari或Cloudera Manager部署集群,也可通過其Web界面監控。
- 命令行工具:使用
yarn application -list
查看任務列表,yarn application -kill
結束異常任務,還可通過hdfs dfsadmin
等命令檢查HDFS狀態。
- 第三方監控工具:Prometheus + Grafana可采集和可視化Hadoop指標,Ganglia、Zabbix等可監控集群資源及任務相關指標。