HDFS集群在Ubuntu上如何搭建

以下是在Ubuntu上搭建HDFS集群的步驟：

1. 安裝Java：使用命令sudo apt update和sudo apt install openjdk-11-jdk安裝JDK，安裝后通過java -version驗證。
2. 下載并解壓Hadoop：從Apache官網下載Hadoop壓縮包，如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，然后解壓到指定目錄，如/usr/local/hadoop。
3. 配置環境變量：編輯~/.bashrc文件，添加export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64、export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，最后執行source ~/.bashrc使配置生效。
4. 配置HDFS：在/usr/local/hadoop/etc/hadoop目錄下，編輯core-site.xml，設置fs.defaultFS為hdfs://localhost:9000；編輯hdfs-site.xml，設置dfs.replication、dfs.namenode.name.dir和dfs.datanode.data.dir等屬性。
5. 創建HDFS目錄：使用sudo mkdir -p /path/to/hadoop/hdfs/namenode和sudo mkdir -p /path/to/hadoop/hdfs/datanode創建目錄，并通過sudo chown -R hdfs:hdfs /path/to/hadoop/hdfs設置權限。
6. 格式化NameNode：在終端執行hdfs namenode -format。
7. 啟動HDFS：使用start-dfs.sh啟動HDFS集群。

若要配置高可用性，還需進行額外的配置，如設置JournalNode、配置hdfs-site.xml和core-site.xml中的相關參數等。