在Debian上部署Hadoop集群可參考以下步驟:
sudo apt update
和sudo apt install openjdk-8-jdk
命令安裝OpenJDK 8。ssh-keygen -t rsa
生成密鑰,再用cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
將公鑰添加到授權列表,最后通過ssh-copy-id
命令將公鑰復制到其他節點。wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
,然后解壓到指定目錄,如/opt/hadoop
。~/.bashrc
文件,添加export HADOOP_HOME=/opt/hadoop
和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
,并執行source ~/.bashrc
使配置生效。/opt/hadoop/etc/hadoop
目錄下,編輯core-site.xml
、hdfs-site.xml
、mapred-site.xml
和yarn-site.xml
等文件,設置相關參數,如fs.defaultFS
、dfs.replication
等。/etc/hosts
文件,添加所有節點的IP地址和主機名。hdfs namenode -format
命令。start-dfs.sh
和start-yarn.sh
腳本,啟動HDFS和YARN服務。