hdfs在centos上怎么裝

在CentOS上安裝HDFS（Hadoop分布式文件系統）的步驟如下：

1. 準備工作

操作系統：確保你的CentOS系統是最新的。
Java環境：Hadoop需要Java運行環境，建議安裝Java 8或更高版本。

sudo yum update -y
sudo yum install java-1.8.0-openjdk-devel -y

2. 下載并解壓Hadoop

訪問Hadoop官網下載最新版本的Hadoop。
解壓到你選擇的目錄，例如/usr/local/hadoop。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
ln -s /usr/local/hadoop-3.3.4 /usr/local/hadoop

3. 配置Hadoop

編輯Hadoop的配置文件，主要涉及以下幾個文件：

`hadoop-env.sh`

設置Java環境變量。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

`core-site.xml`

配置HDFS的默認文件系統。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

`hdfs-site.xml`

配置HDFS的相關參數。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

`yarn-site.xml`

配置YARN的相關參數。

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

`mapred-site.xml`

配置MapReduce的相關參數。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4. 格式化HDFS

在第一次啟動Hadoop之前，需要格式化NameNode。

hdfs namenode -format

5. 啟動Hadoop集群

啟動HDFS和YARN服務。

start-dfs.sh
start-yarn.sh

6. 驗證安裝

訪問Hadoop的Web界面來驗證安裝是否成功。

HDFS NameNode Web界面：http://<your_node_ip>:50070
YARN ResourceManager Web界面：http://<your_node_ip>:8088

7. 停止Hadoop集群

停止HDFS和YARN服務。

stop-dfs.sh
stop-yarn.sh

注意事項

確保所有節點之間的網絡通信正常。
根據實際情況調整配置文件中的參數。
如果是在多節點集群上部署，需要配置slaves文件，列出所有DataNode的IP地址。

通過以上步驟，你應該能夠在CentOS上成功安裝并運行HDFS。