在Ubuntu上監控Hadoop任務可通過以下方式:
Hadoop自帶工具
jps
:查看Hadoop進程是否正常運行。hdfs dfsadmin -report
:獲取HDFS集群狀態及DataNode信息。yarn node -list
:查看YARN節點狀態。yarn application -list
:查看任務運行情況。第三方監控工具
日志與自定義腳本
tail -f
實時查看Hadoop日志(位于$HADOOP_HOME/logs
),或用grep
過濾關鍵信息。根據集群規模和需求選擇合適工具,小型集群可優先使用自帶工具,大規模集群建議結合Prometheus+Grafana實現全面監控。