Ubuntu中HDFS如何啟動

Ubuntu中HDFS啟動步驟

1. 準備工作

在啟動HDFS前，需完成以下基礎配置：

• 安裝Java環境：Hadoop依賴Java，需安裝OpenJDK 8（或更高版本）。執行sudo apt update && sudo apt install openjdk-8-jdk安裝，通過java -version驗證安裝成功。
• 下載并解壓Hadoop：從Apache官網下載Hadoop二進制包（如hadoop-3.3.1.tar.gz），解壓至目標目錄（如/usr/local/hadoop）。執行wget https://downloads.apache.org/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz下載，tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/解壓。
• 配置環境變量：編輯~/.bashrc文件，添加export HADOOP_HOME=/usr/local/hadoop（Hadoop安裝路徑）和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin（Hadoop命令路徑），執行source ~/.bashrc使配置生效。

2. 配置HDFS核心參數

進入Hadoop配置目錄（$HADOOP_HOME/etc/hadoop），修改以下文件：

• core-site.xml：設置HDFS默認文件系統地址，添加<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>（localhost表示單機模式，集群模式需替換為NameNode主機名）。
• hdfs-site.xml：配置NameNode和DataNode數據目錄及副本數，添加：

  <property><name>dfs.replication</name><value>1</value></property> <!-- 單機模式副本數為1 -->
  <property><name>dfs.namenode.name.dir</name><value>/path/to/hadoop/hdfs/namenode</value></property> <!-- NameNode元數據存儲路徑 -->
  <property><name>dfs.datanode.data.dir</name><value>/path/to/hadoop/hdfs/datanode</value></property> <!-- DataNode數據存儲路徑 -->
  

• 創建數據目錄：執行sudo mkdir -p /path/to/hadoop/hdfs/namenode和sudo mkdir -p /path/to/hadoop/hdfs/datanode創建目錄，確保Hadoop用戶有讀寫權限（chown -R hadoop:hadoop /path/to/hadoop/hdfs）。

3. 格式化NameNode

首次啟動HDFS前，需格式化NameNode以初始化元數據（注意：格式化會清除已有數據，僅首次啟動或重置時執行）。執行hdfs namenode -format，等待命令完成（提示“NameNode formatted successfully”即為成功）。

4. 啟動HDFS服務

執行start-dfs.sh命令（位于$HADOOP_HOME/sbin目錄），該腳本會自動啟動NameNode（主節點）和DataNode（數據節點）守護進程。若需單獨啟動DataNode，可執行hadoop-daemon.sh start datanode（單機模式無需此步）。

5. 驗證HDFS運行狀態

• 命令行驗證：執行jps命令，若輸出包含NameNode、DataNode（及SecondaryNameNode，可選），說明HDFS進程已啟動。
• Web界面驗證：打開瀏覽器訪問http://localhost:9000（默認端口），若看到HDFS文件系統狀態頁面（顯示“Live Nodes”數量≥1），則說明HDFS啟動成功。