日志文件定位
/var/log/Bigdata/hdfs/nn/hadoop-<user>-namenode-<hostname>.log
/var/log/Bigdata/hdfs/dn/hadoop-<user>-datanode-<hostname>.log
/var/log/Bigdata/audit/hdfs/
日志查看工具
tail -f <日志路徑>
journalctl -u hadoop-namenode
http://master:50070
)查看部分日志日志輪轉與歸檔
logrotate
配置輪轉規則(如每天輪轉、保留7天、壓縮舊日志),配置文件路徑:/etc/logrotate.d/hadoop
。日志級別調整
log4j.properties
文件(路徑:$HADOOP_HOME/etc/hadoop/
),調整hadoop.root.logger
或組件級日志級別(如org.apache.hadoop.hdfs=DEBUG
),修改后需重啟HDFS服務。hadoop dfsadmin -setLogLevel <級別>
(僅適用于測試環境)。日志分析與安全
chmod 640
)限制訪問。自動化清理
crontab
定時執行。注意:修改配置前備份重要數據,生產環境建議將日志級別設為INFO
或WARN
,避免影響性能。