HDFS在CentOS上的配置文件有哪些

在CentOS上配置Hadoop分布式文件系統（HDFS）時，主要的配置文件包括以下四個：

1. core-site.xml：

   • 用于定義系統級別的參數，如HDFS的URL、Hadoop的臨時目錄等。
   • 示例配置：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/usr/local/hadoop/tmp</value>
         </property>
         <property>
             <name>hadoop.proxyuser.root.hosts</name>
             <value>*</value>
         </property>
         <property>
             <name>hadoop.proxyuser.root.groups</name>
             <value>*</value>
         </property>
     </configuration>
     

2. hdfs-site.xml：

   • 用于配置HDFS的特定參數，如名稱節點和數據節點的存放位置、文件副本的個數、文件讀取權限等。
   • 示例配置：

     <configuration>
         <property>
             <name>dfs.http.address</name>
             <value>localhost:9870</value>
         </property>
         <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>localhost:9870</value>
         </property>
         <property>
             <name>mapreduce.jobhistory.address</name>
             <value>localhost:10020</value>
         </property>
         <property>
             <name>mapreduce.jobhistory.webapp.address</name>
             <value>localhost:19888</value>
         </property>
     </configuration>
     

3. mapred-site.xml：

   • 用于配置MapReduce框架的參數。
   • 示例配置：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

4. yarn-site.xml：

   • 用于配置YARN（Hadoop集群資源管理框架）的參數。
   • 示例配置：

     <configuration>
         <property>
             <name>yarn.resourcemanager.address</name>
             <value>localhost:8032</value>
         </property>
         <property>
             <name>yarn.resourcemanager.scheduler.address</name>
             <value>localhost:8030</value>
         </property>
         <property>
             <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>localhost:8031</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
             <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
         <property>
             <name>yarn.nodemanager.vmem-check-enabled</name>
             <value>false</value>
         </property>
         <property>
             <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
             <value>99</value>
         </property>
         <property>
             <name>yarn.application.classpath</name>
             <value>/usr/lib/hadoop/client-0.20/lib/*</value>
         </property>
     </configuration>
     

這些配置文件通常位于Hadoop安裝目錄下的etc/hadoop文件夾中。在配置這些文件時，需要根據實際的集群環境和需求進行調整。例如，可以修改fs.defaultFS的值來指定NameNode的地址，調整dfs.replication的值來設置文件副本的數量等。