Linux下Hadoop的配置文件主要位于$HADOOP_HOME/etc/hadoop目錄下,核心配置文件有:
- hadoop-env.sh:設置Hadoop運行環境變量,如JAVA_HOME。
- core-site.xml:配置Hadoop核心參數,如fs.defaultFS(默認文件系統URI)、hadoop.tmp.dir(臨時目錄)。
- hdfs-site.xml:配置HDFS參數,如dfs.replication(副本數)、dfs.namenode.name.dir(NameNode元數據存儲目錄)。
- mapred-site.xml:配置MapReduce參數,如mapreduce.framework.name(運行框架,通常為yarn)。
- yarn-site.xml:配置YARN參數,如yarn.resourcemanager.hostname(ResourceManager主機名)、yarn.nodemanager.aux-services(NodeManager輔助服務)。
此外,還有yarn-env.sh(配置YARN環境變量)、slaves(或workers,列出集群節點)等文件。