Linux系統里Hadoop如何監控

Linux系統下Hadoop監控方法

1. Hadoop自帶監控工具

• 命令行工具：通過內置命令快速獲取集群狀態，常用命令包括：
  • jps：查看Hadoop關鍵進程（NameNode、DataNode、ResourceManager、NodeManager等）是否運行；
  • hdfs dfsadmin -report：生成HDFS詳細狀態報告（總容量、已用空間、DataNode列表等）；
  • yarn node -list：列出YARN集群中所有NodeManager及其狀態；
  • yarn application -list：查看當前運行的YARN應用程序；
  • mapred job -list：查看MapReduce作業列表（Hadoop 2.x及以上版本建議使用YARN命令替代）。這些命令適合快速排查節點狀態、資源使用等基礎問題。
• Web UI界面：Hadoop各組件提供可視化Web界面，直觀展示集群狀態：
  • NameNode：http://<namenode-host>:9870（Hadoop 3.x，默認端口）或http://<namenode-host>:50070（Hadoop 2.x），可查看HDFS存儲使用、DataNode列表、文件系統操作等；
  • ResourceManager：http://<resourcemanager-host>:8088，展示YARN資源分配、運行中應用程序、隊列狀態等；
  • DataNode：http://<datanode-host>:9864（Hadoop 3.x）或http://<datanode-host>:50075（Hadoop 2.x），查看單個DataNode的存儲和心跳信息。

2. 第三方監控工具

• Apache Ambari：開源Hadoop管理平臺，提供集群部署、配置管理、實時監控（CPU、內存、磁盤、網絡）、告警等功能，支持Hadoop生態組件（HDFS、YARN、MapReduce、Hive等），適合大規模集群的集中式管理。
• Prometheus + Grafana：
  • Prometheus：開源時間序列數據庫，通過Hadoop Exporter（如HDFS Exporter、YARN Exporter）采集Hadoop指標；
  • Grafana：可視化工具，對接Prometheus數據源，創建儀表板展示集群狀態（如HDFS存儲使用率、YARN資源利用率、節點CPU負載），支持設置告警規則（如節點宕機、資源耗盡時發送郵件/短信通知）。
• Ganglia：分布式監控系統，適合大規模Hadoop集群，可監控節點CPU、內存、磁盤、網絡等資源使用情況，通過Web界面展示集群整體狀態，支持歷史數據查詢。
• Zabbix：企業級開源監控解決方案，支持監控Hadoop節點資源（CPU、內存、磁盤）、服務狀態（NameNode、ResourceManager），提供告警功能（郵件、短信、Slack等），可與Zabbix Proxy結合實現分布式監控。
• Nagios：老牌監控工具，通過插件（如Nagios Hadoop Plugin）監控Hadoop集群狀態（節點存活、HDFS存儲、YARN應用），支持告警和性能趨勢分析，適合傳統IT環境。

3. JMX監控

Hadoop組件（如YARN、HDFS）支持通過JMX（Java Management Extensions）暴露內部指標，需在配置文件（如yarn-site.xml、hdfs-site.xml）中開啟遠程監控：

• 添加JMX端口配置（如yarn.nodemanager.jmx-port=9999）；
• 配置安全認證（如SSL、用戶名密碼）；
• 使用JConsole、VisualVM等工具連接JMX端口，或通過Prometheus的JMX Exporter采集指標，實現深入的性能分析（如GC次數、線程池狀態、內存使用詳情）。

4. 日志監控

Hadoop組件日志集中存儲在$HADOOP_HOME/logs目錄下（如NameNode日志hadoop-<user>-namenode-<hostname>.log、ResourceManager日志yarn-<user>-resourcemanager-<hostname>.log），通過以下方式監控：

• tail -f命令實時追蹤日志（如tail -f /opt/hadoop/logs/hadoop-root-namenode-master.log），快速發現異常；
• grep命令過濾關鍵字（如grep -i "error" /opt/hadoop/logs/*.log），定位錯誤信息；
• 結合ELK Stack（Elasticsearch+Logstash+Kibana）實現日志收集、存儲、可視化，支持關鍵詞告警和趨勢分析。

5. 自定義監控腳本

通過Shell、Python等編寫腳本，定期檢查Hadoop狀態并發送告警：

• 示例：使用curl獲取NameNode狀態（http://<namenode-host>:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo），解析JSON數據判斷是否“healthy”；
• 使用mail、sendmail或第三方工具（如釘釘機器人、企業微信）發送告警；
• 腳本可集成到cron定時任務中（如每5分鐘運行一次），實現自動化監控。