以下是在Linux中搭建Hadoop集群的基本步驟:
/usr/local/hadoop
。~/.bashrc
或/etc/profile
文件,添加Hadoop和Java的環境變量,如export HADOOP_HOME=/usr/local/hadoop
,export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
,并使配置生效。$HADOOP_HOME/etc/hadoop
目錄下,編輯core-site.xml
配置HDFS的URI;hdfs-site.xml
配置副本數和數據目錄;yarn-site.xml
配置YARN資源管理器等;mapred-site.xml
配置MapReduce框架。authorized_keys
文件中。hdfs namenode -format
命令,僅在首次搭建時執行。start-dfs.sh
和start-yarn.sh
腳本啟動HDFS和YARN。jps
命令查看相關進程是否啟動,或通過訪問Web UI界面,如http://namenode-ip:50070
查看集群狀態。