centos里hdfs如何部署

在CentOS中部署Hadoop分布式文件系統（HDFS）是一個相對復雜的過程，需要多個步驟。以下是一個基本的指南，幫助你在CentOS 7上部署HDFS。請注意，這個指南假設你已經有一個基本的Linux系統，并且具備一定的技術背景。

1. 環境準備

安裝Java

HDFS需要Java運行環境，首先確保你已經安裝了Java 8。

sudo yum install java-1.8.0-openjdk-devel

驗證Java安裝：

java -version

安裝SSH

確保SSH服務已經安裝并配置好免密登錄。

sudo yum install openssh-server
sudo systemctl start sshd
sudo systemctl enable sshd
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

2. 下載并解壓Hadoop

你可以從Apache Hadoop官網下載所需版本的Hadoop。以下是一個示例，使用Hadoop 3.2.0版本。

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.2.0/hadoop-3.2.0.tar.gz
tar -xzf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
cd /usr/local/hadoop

3. 配置環境變量

編輯/etc/profile文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin

使配置生效：

source /etc/profile

4. 配置Hadoop

修改hadoop-env.sh

編輯hadoop-env.sh文件，設置JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

修改core-site.xml

編輯core-site.xml文件，配置HDFS的默認地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

修改hdfs-site.xml

編輯hdfs-site.xml文件，配置HDFS的副本數和其他屬性：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/tmp/hadoop/namenode</value>
    </property>
</configuration>

修改slaves文件

如果你的集群有多個節點，編輯slaves文件，添加所有節點的主機名。

5. 格式化NameNode

在第一次啟動HDFS之前，需要格式化NameNode：

hdfs namenode -format

6. 啟動HDFS

啟動HDFS服務：

./sbin/start-dfs.sh

7. 驗證HDFS

使用以下命令檢查HDFS是否啟動成功：

jps

你應該能看到NameNode、DataNode和SecondaryNameNode進程。

8. 訪問HDFS Web UI

打開瀏覽器，訪問http://localhost:50070，查看HDFS的Web界面，確認一切正常。

注意事項

• 確保所有節點的/etc/hosts文件配置正確。
• 如果使用偽分布式模式，確保所有配置文件（如core-site.xml、hdfs-site.xml等）在所有節點上保持一致。
• 初始化格式化NameNode時，數據會被清空，請謹慎操作。

以上步驟提供了一個基本的HDFS部署流程，具體配置可能會根據實際需求和環境有所不同。建議參考Hadoop官方文檔進行詳細配置。