溫馨提示×

Hadoop 日志管理在 Ubuntu 上如何進行

小樊
40
2025-09-09 02:29:30
欄目: 智能運維

Hadoop日志管理在Ubuntu上的操作如下:

  1. 查看日志路徑

    • 默認路徑:$HADOOP_HOME/logs(如/usr/local/hadoop/logs)。
    • 自定義路徑:需在hadoop-env.sh中設置HADOOP_LOG_DIR,或在log4j.properties中配置具體組件日志路徑。
  2. 查看日志內容

    • 實時查看:tail -f hadoop-<組件>-<主機名>.log(如hadoop-hdfs-namenode-hadoop01.log)。
    • 搜索特定信息:grep "錯誤關鍵詞" hadoop-<組件>.log。
  3. 配置日志級別

    • 編輯log4j.properties文件(位于$HADOOP_HOME/etc/hadoop),修改log4j.rootLogger或特定包的日志級別(如DEBUG、ERROR)。
    • 保存后重啟Hadoop服務生效:$HADOOP_HOME/sbin/stop-all.sh && $HADOOP_HOME/sbin/start-all.sh。
  4. 日志歸檔與清理

    • 使用Hadoop Archive工具歸檔小文件:hadoop archive -archiveName test.har -p /input /outputdir。
    • 通過設置日志保留時間(如yarn-site.xml中配置yarn.log-aggregation.retain-seconds)自動清理舊日志。
  5. 集中管理與分析

    • 配置日志聚合(YARN):在yarn-site.xml中啟用yarn.log-aggregation-enable=true,并指定聚合服務器。
    • 使用ELK Stack(Elasticsearch+Logstash+Kibana)或Splunk等工具集中分析日志。

參考來源

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女