Hadoop在Linux上如何進行權限控制

Hadoop在Linux上的權限控制體系
Hadoop在Linux環境中的權限控制需結合Linux系統原生權限、Hadoop自身權限機制及高級安全組件，實現從系統層到應用層的多層級訪問管控。

1. Linux系統級基礎權限準備

Hadoop進程需以專用Linux用戶（如hadoop）運行，避免使用root，降低安全風險。

• 創建專用用戶與組：

  sudo groupadd hadoop  # 創建hadoop組
  sudo useradd -r -g hadoop hadoop  # 創建系統用戶hadoop并加入hadoop組
  

• 設置Hadoop目錄權限：
  將Hadoop安裝目錄（如/opt/hadoop）、數據目錄（如/data/hadoop）的所有權賦予hadoop用戶及組，權限設為755（所有者可讀寫執行，組及其他用戶僅可讀執行）：

  sudo mkdir -p /opt/hadoop /data/hadoop
  sudo chown -R hadoop:hadoop /opt/hadoop /data/hadoop
  sudo chmod -R 755 /opt/hadoop /data/hadoop
  

2. HDFS權限管理（核心應用層控制）

HDFS作為Hadoop分布式存儲系統，其權限模型類似Linux文件系統，通過**用戶（Owner）、組（Group）、其他（Others）**三級權限（讀r、寫w、執行x）管控訪問。

• 基礎權限命令：
  • 查看權限：hdfs dfs -ls /path/to/directory（顯示所有者、組及權限位，如drwxr-xr-x）；
  • 修改權限：hdfs dfs -chmod 755 /path/to/file（設置文件權限，755為常見目錄權限）；
  • 更改所有者：hdfs dfs -chown hadoop:hadoop /path/to/file（將文件所有者設為hadoop用戶及組）；
  • 遞歸修改：hdfs dfs -chmod -R 755 /path/to/directory（遞歸設置目錄及其子項權限）。
• 高級控制：ACL（訪問控制列表）：
  當基礎權限無法滿足細粒度需求時（如允許特定用戶訪問某目錄），可使用ACL擴展權限。例如，授予用戶user1對/data/input目錄的讀寫執行權限：

  hdfs dfs -setfacl -m user:user1:rwx /data/input  # 添加ACL規則
  hdfs dfs -getfacl /data/input  # 查看ACL詳情
  

3. Linux文件系統權限保障

Hadoop進程需訪問Linux本地目錄（如日志目錄/var/log/hadoop、臨時目錄/tmp），需確保這些目錄的權限正確。

• 設置本地目錄權限：
  將本地目錄所有權賦予hadoop用戶及組，權限設為755：

  sudo mkdir -p /var/log/hadoop
  sudo chown -R hadoop:hadoop /var/log/hadoop
  sudo chmod -R 755 /var/log/hadoop
  

4. Kerberos認證（增強身份驗證）

為防止未授權用戶訪問，建議啟用Kerberos認證（Hadoop企業級安全標準）。

• 核心配置步驟：
  • 在core-site.xml中啟用Kerberos認證：

    <property>
      <name>hadoop.security.authentication</name>
      <value>kerberos</value>
    </property>
    <property>
      <name>hadoop.security.authorization</name>
      <value>true</value>
    </property>
    

  • 在hdfs-site.xml中啟用權限檢查：

    <property>
      <name>dfs.permissions.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>dfs.namenode.permissions.check-path-access</name>
      <value>true</value>
    </property>
    

  • 獲取Kerberos票據：用戶需通過kinit命令獲取票據（如kinit user1@EXAMPLE.COM），票據有效期默認為10小時。

5. 高級安全組件（可選但推薦）

• Apache Ranger：提供集中式權限管理，支持HDFS、YARN、Hive等組件的細粒度授權（如表級、列級權限），并記錄審計日志；
• Apache Sentry：專注于Hive、HBase等組件的授權管理，實現數據訪問的細粒度控制。

6. 審計與維護

• 啟用審計日志：在core-site.xml中配置審計日志參數，記錄用戶操作（如文件訪問、權限修改）：

  <property>
    <name>hadoop.security.audit.log.maxage</name>
    <value>30</value>  <!-- 日志保留天數 -->
  </property>
  <property>
    <name>hadoop.security.audit.log.maxbackupindex</name>
    <value>10</value>  <!-- 日志備份數量 -->
  </property>
  

• 定期審查權限：每月檢查HDFS目錄權限、Kerberos票據有效期及用戶組歸屬，確保權限設置符合當前業務需求。