如何監控 Debian Hadoop 集群狀態

監控Debian Hadoop集群狀態可通過以下方式實現：

一、原生工具監控

• Web UI界面
  • NameNode：訪問 http://namenode-ip:9870（Hadoop 3.x）或 http://namenode-ip:50070（Hadoop 2.x），查看HDFS狀態、存儲使用率、節點健康等。
  • ResourceManager：訪問 http://resourcemanager-ip:8088，監控YARN資源分配、作業狀態及集群資源使用情況。
• 命令行工具
  • hdfs dfsadmin -report：查看HDFS集群節點狀態、容量使用等。
  • yarn node -list：獲取YARN節點列表及狀態（如運行容器數、內存使用）。
  • jps：查看Hadoop各組件進程是否正常運行。

二、第三方監控工具

• Apache Ambari
  提供集群集中管理、實時監控、告警功能，支持HDFS、YARN等組件可視化，需先安裝Ambari Server及Agent。
• Prometheus + Grafana
  • Prometheus通過JMX接口采集Hadoop指標（如CPU、內存、磁盤I/O），Grafana用于數據可視化，可自定義儀表盤展示關鍵指標。
• Ganglia
  分布式監控系統，適合大規模集群，可監控節點資源使用情況，需與Grafana結合實現可視化。

三、告警與自動化

• 設置閾值告警：在Prometheus/Grafana中配置規則（如磁盤使用率>85%時告警），通過郵件、短信等方式通知。
• 日志監控：通過yarn logs -applicationId <應用ID>獲取作業日志，結合ELK Stack（Elasticsearch+Logstash+Kibana）實現日志分析與可視化。

四、注意事項

• 確保Hadoop組件配置文件（如core-site.xml、hdfs-site.xml）中啟用了JMX或Web UI訪問權限。
• 定期清理監控數據，避免存儲冗余信息影響性能。

根據集群規模和需求選擇合適工具，小型集群可優先使用原生工具，大規模集群建議部署Ambari或Prometheus+Grafana組合。