Ubuntu HDFS配置參數詳解

在Ubuntu上配置Hadoop分布式文件系統（HDFS）涉及多個步驟和參數設置。以下是詳細的配置參數詳解：

1. 環境準備

• 安裝Java環境：

  sudo apt update
  sudo apt install openjdk-8-jdk
  java -version
  

• 下載并解壓Hadoop：

  wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
  tar -xzf hadoop-3.3.4.tar.gz
  mv hadoop-3.3.4 hadoop
  

2. 配置Hadoop環境變量

編輯~/.bashrc文件，添加以下內容：

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

3. 配置Hadoop核心文件

• core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
      <property>
          <name>io.file.buffer.size</name>
          <value>131072</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
      </property>
  </configuration>
  

• hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/path/to/hadoop/hdfs/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/path/to/hadoop/hdfs/datanode</value>
      </property>
  </configuration>
  

4. 格式化NameNode

hdfs namenode -format

5. 啟動HDFS服務

start-dfs.sh

6. 驗證HDFS配置

• 訪問HDFS Web界面： 打開瀏覽器，訪問http://localhost:50070，如果看到HDFS的Web界面，說明配置成功。

7. 常用HDFS命令

• 創建目錄：

  hdfs dfs -mkdir /user/test
  

• 上傳本地文件到HDFS：

  hdfs dfs -put /path/to/localfile /user/remotefile.txt
  

• 列出HDFS目錄下的文件：

  hdfs dfs -ls /user
  

• 從HDFS下載文件到本地：

  hdfs dfs -get /user/remotefile.txt localfile.txt
  

• 刪除HDFS文件：

  hdfs dfs -rm /user/remotefile.txt
  

以上步驟涵蓋了在Ubuntu上配置HDFS的主要要點，確保每個環節正確配置是成功運行HDFS的基礎。