centos如何安裝hdfs服務

在CentOS上安裝HDFS（Hadoop分布式文件系統）服務，可以按照以下步驟進行：

1. 準備工作

• 安裝Java：Hadoop需要Java運行環境。

  sudo yum install java-1.8.0-openjdk-devel
  

• 配置Java環境變量： 編輯/etc/profile.d/java.sh文件，添加以下內容：

  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export PATH=$PATH:$JAVA_HOME/bin
  

  然后執行：

  source /etc/profile.d/java.sh
  

2. 下載并解壓Hadoop

• 下載Hadoop： 訪問Hadoop官網，選擇合適的版本下載。例如：

  wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  

• 解壓Hadoop：

  tar -xzvf hadoop-3.3.1.tar.gz -C /opt
  

• 重命名目錄：

  sudo mv /opt/hadoop-3.3.1 /opt/hadoop
  

3. 配置Hadoop

• 編輯配置文件： 進入Hadoop目錄并編輯相關配置文件。

  • core-site.xml：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://namenode:9000</value>
        </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/opt/hadoop/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/opt/hadoop/data/datanode</value>
        </property>
    </configuration>
    

  • yarn-site.xml：

    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>resourcemanager</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    

  • mapred-site.xml：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

4. 格式化NameNode

• 格式化NameNode：

  hdfs namenode -format
  

5. 啟動HDFS

• 啟動HDFS：

  start-dfs.sh
  

6. 啟動YARN

• 啟動YARN：

  start-yarn.sh
  

7. 驗證安裝

• 檢查HDFS狀態：

  jps
  

  應該能看到NameNode、SecondaryNameNode、DataNode等進程。

• 訪問Web界面：

  • NameNode Web界面：http://namenode:50070
  • ResourceManager Web界面：http://resourcemanager:8088

8. 配置SSH無密碼登錄

• 生成SSH密鑰：

  ssh-keygen -t rsa
  

• 分發公鑰：

  ssh-copy-id namenode
  ssh-copy-id resourcemanager
  

9. 配置Hadoop集群

• 配置slaves文件： 編輯/opt/hadoop/etc/hadoop/slaves文件，添加所有DataNode的主機名或IP地址。

通過以上步驟，你應該能夠在CentOS上成功安裝并配置HDFS服務。如果有任何問題，請參考Hadoop官方文檔或社區支持。