Ubuntu HDFS配置步驟全解析

在Ubuntu上配置Hadoop分布式文件系統（HDFS）涉及多個步驟，以下是詳細的步驟指南：

1. 環境準備

• 安裝Java環境： Hadoop依賴于Java環境，因此首先需要安裝Java。

  sudo apt update
  sudo apt install openjdk-8-jdk
  

  驗證Java版本：

  java -version
  

• 安裝SSH服務： 安裝OpenSSH服務器并配置免密登錄，以便節點間可以互相通信。

  sudo apt install openssh-server
  sudo ssh-keygen -t rsa
  ssh-copy-id user@slave_node_ip
  

  測試SSH連接：

  ssh localhost
  

2. 下載并解壓Hadoop

從Apache Hadoop官網下載最新版本的Hadoop安裝包，然后解壓到你想要的目錄。

wget http://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

3. 配置Hadoop環境變量

編輯~/.bashrc文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使環境變量生效：

source ~/.bashrc

4. 配置Hadoop核心文件

• core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
  </configuration>
  

• hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/path/to/hadoop/hdfs/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/path/to/hadoop/hdfs/datanode</value>
      </property>
  </configuration>
  

• mapred-site.xml和yarn-site.xml： 這些文件在單機模式下通常不需要特別配置。

5. 格式化NameNode

首次啟動HDFS之前，需要對其進行格式化：

hdfs namenode -format

6. 啟動HDFS服務

使用以下命令啟動HDFS服務：

start-dfs.sh

7. 驗證HDFS是否正常運行

打開瀏覽器，訪問http://localhost:9000，如果看到HDFS的文件系統狀態頁面，說明HDFS已經成功啟動。

8. 常用HDFS命令

• 創建目錄：

  hdfs dfs -mkdir /user/test
  

• 上傳本地文件到HDFS：

  hdfs dfs -put /path/to/localfile /user/remotefile.txt
  

• 列出HDFS目錄下的文件：

  hdfs dfs -ls /user
  

• 從HDFS下載文件到本地：

  hdfs dfs -get /user/remotefile.txt localfile.txt
  

• 刪除HDFS文件：

  hdfs dfs -rm /user/remotefile.txt
  

以上步驟涵蓋了在Ubuntu上配置HDFS的主要步驟，確保每個環節正確配置是成功運行HDFS的基礎。