Ubuntu中HDFS集群如何搭建

在Ubuntu中搭建HDFS集群是一個相對復雜的過程，涉及多個步驟。以下是一個基本的指南，幫助你在Ubuntu系統上搭建HDFS集群。

環境準備

1. 選擇操作系統：推薦使用Ubuntu 18.04或更高版本。
2. 配置網絡：確保所有節點在同一個網絡中，并且可以互相通信。
3. 安裝Java環境：因為Hadoop依賴于Java。

安裝Hadoop

1. 下載并解壓Hadoop：

wget https://downloads.apache.org/hadoop/core/hadoop-3.3.12/hadoop-3.3.12.tar.gz
tar -xzvf hadoop-3.3.12.tar.gz -C /opt/hadoop

2. 配置環境變量：

編輯 /etc/profile 文件，添加以下內容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效：

source /etc/profile

配置Hadoop

1. 編輯Hadoop配置文件：

• core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

• hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

• mapred-site.xml 和 yarn-site.xml：可以參考Hadoop官方文檔進行配置。

2. 設置SSH免密碼登錄：

在所有節點上生成SSH密鑰對：

ssh-keygen -t rsa

將公鑰復制到其他節點：

ssh-copy-id namenode
ssh-copy-id datanode1
ssh-copy-id datanode2
ssh-copy-id datanode3

3. 格式化NameNode：

在NameNode節點上執行以下命令初始化HDFS文件系統：

hdfs namenode -format

4. 啟動HDFS集群：

在NameNode節點上啟動HDFS：

start-dfs.sh

在DataNode節點上啟動DataNode：

start-dfs.sh datanode

5. 驗證集群狀態：

在NameNode節點上查看HDFS狀態：

hdfs dfsadmin -report

訪問NameNode的Web界面：http://namenode:50070