以下是在Debian上配置Hadoop數據存儲的步驟:
sudo apt update,sudo apt install openjdk-8-jdk安裝OpenJDK 8。wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz,然后解壓到指定目錄,如/usr/local/hadoop。~/.bashrc文件中添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin,并使用source ~/.bashrc使更改生效。fs.defaultFS為hdfs://namenode:9000,還可設置hadoop.tmp.dir等。dfs.replication(副本數,默認3)、dfs.namenode.name.dir(NameNode數據存儲目錄)、dfs.datanode.data.dir(DataNode數據存儲目錄)等。yarn.nodemanager.aux - services為mapreduce_shuffle等。hdfs namenode -format命令。start - dfs.sh,在ResourceManager上運行start - yarn.sh。此外,還可根據需求配置數據存儲策略,如設置不同的存儲類型、啟用數據壓縮等。