HDFS在Linux中的日志管理可通過以下方式操作:
日志收集與存儲
hadoop.root.logger(日志級別+輸出位置)、hadoop.log.dir(存儲目錄,默認/var/log/Bigdata/hdfs/)等。/var/log/Bigdata/hdfs/nn/,DataNode日志位于/var/log/Bigdata/hdfs/dn/。日志輪轉與歸檔
logrotate工具配置輪轉策略(如每日輪轉、保留7天備份、壓縮舊日志),配置文件路徑為/etc/logrotate.d/hadoop。.zip文件,保留最近100個歸檔文件。日志查看與分析
tail -f實時查看日志,grep/awk過濾分析關鍵信息。http://master:50070)查看節點日志。權限與安全
chown/chmod設置日志目錄權限,限制僅授權用戶訪問。監控與告警
參考來源: