溫馨提示×

如何在CentOS上安裝和配置Hadoopx版本

小樊
110
2025-02-12 05:39:27
欄目: 智能運維

在CentOS上安裝和配置Hadoop的步驟如下:

  1. 安裝JDK

    • 下載JDK安裝包,例如JDK 1.8:JDK下載地址
    • 解壓并配置環境變量。編輯/etc/profile文件,添加以下內容:
      export JAVA_HOME=/usr/java/jdk1.8.0_211
      export CLASSPATH=.:$JAVA_HOME/lib
      export PATH=$PATH:$JAVA_HOME/bin
      
    • 使配置生效:
      source /etc/profile
      
    • 驗證Java安裝:
      java -version
      
  2. 下載和解壓Hadoop

    • Hadoop官網下載所需版本的Hadoop安裝包,例如Hadoop 3.3.1。
    • 解壓安裝包到指定目錄,例如/usr/local/hadoop
      tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
      
  3. 配置Hadoop環境變量

    • 編輯~/.bashrc文件,添加以下內容:
      export HADOOP_HOME=/usr/local/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      export HADOOP_MAPRED_HOME=$HADOOP_HOME
      export HADOOP_COMMON_HOME=$HADOOP_HOME
      export HADOOP_HDFS_HOME=$HADOOP_HOME
      export YARN_HOME=$HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
      
    • 使配置生效:
      source ~/.bashrc
      
  4. 配置Hadoop配置文件

    • 進入Hadoop安裝目錄的etc/hadoop目錄。
    • 編輯core-site.xml文件,設置默認文件系統:
      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://namenode:9000</value>
        </property>
      </configuration>
      
    • 編輯hdfs-site.xml文件,配置HDFS相關參數:
      <configuration>
        <property>
          <name>dfs.replication</name>
          <value>3</value>
        </property>
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>/usr/local/hadoop/hdfs/namenode</value>
        </property>
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>/usr/local/hadoop/hdfs/datanode</value>
        </property>
      </configuration>
      
    • 編輯mapred-site.xml文件,配置MapReduce框架:
      <configuration>
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      </configuration>
      
    • 編輯yarn-site.xml文件,配置YARN相關參數:
      <configuration>
        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>
        <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
      </configuration>
      
  5. 格式化HDFS

    • 在NameNode上運行以下命令格式化HDFS:
      hdfs namenode -format
      
  6. 啟動Hadoop服務

    • 啟動HDFS:
      start-dfs.sh
      
    • 啟動YARN:
      start-yarn.sh
      
  7. 驗證安裝

    • 通過訪問Hadoop的Web界面來驗證安裝是否成功:
      • NameNode: http://namenode:9000
      • ResourceManager: http://resourcemanager:8088

, , ,

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女