Hadoop在CentOS上的資源如何分配

在CentOS上配置Hadoop集群涉及多個步驟，包括環境準備、軟件安裝、配置文件修改和啟動服務等。以下是詳細的步驟：

1. 環境準備：

   • 創建統一工作目錄：

     mkdir -p /usr/local/src/server
     mkdir -p /usr/local/src/data
     mkdir -p /usr/local/src/software
     

   • 安裝必要的軟件包，如Java和Hadoop：

     yum install java-1.8.0-openjdk-devel
     wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
     tar -xzvf hadoop-3.3.1.tar.gz
     

   • 配置環境變量并加載到profile文件中：

     vi /etc/profile
     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     source /etc/profile
     

2. Hadoop配置：

   • 編輯Hadoop的核心配置文件：
     • core-site.xml：

       <configuration>
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
           </property>
       </configuration>
       

     • hdfs-site.xml：

       <configuration>
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
           <property>
               <name>dfs.namenode.name.dir</name>
               <value>/usr/local/hadoop/hdfs/namenode</value>
           </property>
           <property>
               <name>dfs.datanode.data.dir</name>
               <value>/usr/local/hadoop/hdfs/datanode</value>
           </property>
       </configuration>
       

     • mapred-site.xml：

       <configuration>
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
       </configuration>
       

3. 啟動Hadoop集群：

   • 格式化NameNode：

     hdfs namenode -format
     

   • 啟動Hadoop集群：

     start-dfs.sh
     start-yarn.sh
     

4. 資源管理和監控：

   • 使用Hadoop自帶的Web界面來監控和管理資源使用情況：

     http://Hadoop-Master-IP:50070/
     

   • 可以使用Ganglia、Ambari或Cloudera Manager等第三方監控工具獲取更詳細的監控數據。

通過這些步驟，您可以在CentOS上成功配置和運行Hadoop集群，并有效管理集群的資源。