在Debian中管理Hadoop日志可參考以下方法:
yarn-site.xml
,設置yarn.log-aggregation-enable=true
,并配置日志保留時間(如yarn.log-aggregation.retain-seconds=172800
,保留2天)及存儲路徑(yarn.nodemanager.remote-app-log-dir
)。journalctl -u hadoop
查看Hadoop服務日志;hdfs dfs -cat /path/to/logs/*
查看HDFS日志;yarn logs -applicationId <appId>
查看YARN應用日志。http://resourcemanager-host:8088
)或JobHistory Server(http://jobhistory-server-host:19888
)查看作業日志。logrotate
工具配置日志輪轉策略,或設置HDFS日志自動清理規則。注:部分配置需根據實際集群環境調整路徑和參數,確保權限正確(如HDFS目錄權限需為777
)。