以下是一些Hadoop在Debian上的配置技巧:
/usr/local/hadoop
。/etc/profile
或~/.bashrc
文件,添加HADOOP_HOME
和PATH
變量,使配置生效。core-site.xml
:設置fs.defaultFS
為hdfs://namenode:9000
,指定臨時目錄hadoop.tmp.dir
。hdfs-site.xml
:配置副本數dfs.replication
,指定NameNode和DataNode的存儲目錄。mapred-site.xml
:設置mapreduce.framework.name
為yarn
。yarn-site.xml
:配置ResourceManager主機名,設置yarn.nodemanager.aux - services
為mapreduce_shuffle
等。slaves
文件列出DataNode和NodeManager節點,編輯hadoop - env.sh
設置JAVA_HOME
等環境變量。