如何利用腳本自動化CentOS HDFS配置

要利用腳本自動化CentOS上的HDFS（Hadoop分布式文件系統）配置，可以編寫Shell腳本來簡化安裝和配置過程。以下是一個基本的示例腳本，展示了如何自動化一些常見的HDFS配置步驟：

#!/bin/bash

# 設置Hadoop安裝目錄
HADOOP_HOME=/usr/local/hadoop

# 設置HDFS數據目錄
HDFS_DATA_DIR=/data/hdfs

# 設置HDFS日志目錄
HDFS_LOG_DIR=/var/log/hadoop-hdfs

# 創建HDFS數據目錄
mkdir -p $HDFS_DATA_DIR

# 創建HDFS日志目錄
mkdir -p $HDFS_LOG_DIR

# 配置hdfs-site.xml
cat <<EOF > $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>$HDFS_DATA_DIR/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>$HDFS_DATA_DIR/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>$HDFS_DATA_DIR/checkpoint</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>$HDFS_DATA_DIR/checkpoint/edits</value>
    </property>
</configuration>
EOF

# 配置core-site.xml
cat <<EOF > $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>$HDFS_DATA_DIR/tmp</value>
    </property>
</configuration>
EOF

# 配置yarn-site.xml（如果需要）
cat <<EOF > $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
EOF

# 格式化HDFS（僅在第一次運行時需要）
if [ ! -d "$HDFS_DATA_DIR/namenode" ]; then
    $HADOOP_HOME/sbin/hdfs namenode -format
fi

# 啟動HDFS
$HADOOP_HOME/sbin/start-dfs.sh

# 檢查HDFS狀態
$HADOOP_HOME/sbin/hdfs dfsadmin -report

echo "HDFS configuration completed successfully."

使用說明：

1. 保存腳本：將上述腳本保存為一個文件，例如setup_hdfs.sh。
2. 賦予執行權限：使用chmod +x setup_hdfs.sh命令賦予腳本執行權限。
3. 運行腳本：使用./setup_hdfs.sh命令運行腳本。

注意事項：

• 確保Hadoop已經安裝在/usr/local/hadoop目錄下，或者根據實際情況修改腳本中的HADOOP_HOME變量。
• 根據實際需求調整HDFS配置參數，例如副本數、數據目錄等。
• 如果集群中有多個節點，需要在每個節點上運行相應的啟動命令。
• 確保防火墻允許HDFS所需的端口通信。

通過這種方式，可以大大簡化HDFS的配置過程，提高部署效率。