以下是在Ubuntu上部署Hadoop應用的一般步驟:
sudo apt update
和sudo apt install openjdk-8-jdk
安裝OpenJDK 8,然后通過vim ~/.bashrc
添加JAVA_HOME
環境變量并使配置生效。sudo apt install openssh-server
安裝SSH服務端,生成密鑰對并配置免密登錄,以便Hadoop節點間通信。從Hadoop官網下載二進制文件,用tar -xzf
命令解壓到指定目錄,如/usr/local/hadoop
,并設置環境變量HADOOP_HOME
和PATH
。
主要配置core-site.xml
、hdfs-site.xml
、mapred-site.xml
和yarn-site.xml
等文件,設置文件系統默認地址、副本數、資源管理等參數。
在/usr/local/hadoop/sbin
目錄下,使用./start-dfs.sh
和./start-yarn.sh
啟動HDFS和YARN服務,可通過jps
命令查看進程,使用瀏覽器訪問http://localhost:9870
查看Hadoop信息。