HDFS在Linux環境下的權限管理指南

一、基礎權限模型（類似Linux POSIX模型）

HDFS采用與Linux類似的用戶-組-其他三級權限模型，包含三種基本權限：

• 讀（r）：允許讀取文件內容或列出目錄中的文件；
• 寫（w）：允許修改文件內容或在目錄中添加/刪除文件；
• 執行（x）：允許執行文件（對目錄而言，允許進入目錄）。

權限通過hdfs dfs -ls命令查看，格式為-rwxr-xr--（所有者：讀寫執行；組：讀執行；其他：讀）。常用權限設置命令：

• 修改權限：hdfs dfs -chmod 755 /path/to/file（所有者7=rwx，組5=r-x，其他5=r-x）；
• 修改所有者：hdfs dfs -chown hadoop:hadoop-group /path/to/file（用戶:組）；
• 修改組：hdfs dfs -chgrp hadoop-group /path/to/file。

二、配置HDFS權限檢查

要啟用HDFS權限管理，需修改hdfs-site.xml配置文件，確保以下參數設置為true：

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.datanode.acls.enabled</name>
    <value>true</value>
</property>

修改后需重啟HDFS集群使配置生效。

三、用戶與組管理

HDFS的用戶和組需與Linux系統用戶同步，常用操作如下：

1. 創建Linux用戶與組：

   sudo groupadd hadoopgroup  # 創建組
   sudo useradd -g hadoopgroup hadoopuser  # 創建用戶并加入組
   

2. 創建HDFS用戶目錄：

   hdfs dfs -mkdir -p /user/hadoopuser  # 創建用戶根目錄
   hdfs dfs -chown hadoopuser:hadoopgroup /user/hadoopuser  # 設置所有者
   

3. 用戶組變更：若需將用戶添加到新組，可使用usermod命令（Linux系統層），并同步更新HDFS文件所有者。

四、訪問控制列表（ACL）實現細粒度權限

ACL（訪問控制列表）允許為特定用戶或組設置額外權限，突破基本權限的限制。常用命令：

• 設置ACL：為指定用戶添加讀寫執行權限，或為組添加讀權限：

  hdfs dfs -setfacl -m user:hadoopuser:rwx /path/to/file  # 用戶hadoopuser有rwx
  hdfs dfs -setfacl -m group:hadoopgroup:r-x /path/to/dir  # 組hadoopgroup有r-x
  

• 查看ACL：hdfs dfs -getfacl /path/to/file（顯示當前ACL規則）；
• 刪除ACL：hdfs dfs -setfacl -x user:hadoopuser /path/to/file（移除指定用戶的ACL規則）；
• 遞歸設置ACL：hdfs dfs -setfacl -R -m group:devgroup:rwx /path/to/dir（遞歸應用到目錄及子項）。

五、權限繼承設置

HDFS支持權限繼承，子目錄和文件會自動繼承父目錄的組權限。通過設置父目錄的setgid位，可強制子項繼承父目錄的組：

hdfs dfs -chmod g+s /path/to/parent_dir  # 設置setgid位
hdfs dfs -ls /path/to/parent_dir  # 查看時組權限旁會顯示"s"（如drwxr-sr-x）

此后，在父目錄下創建的新文件或目錄，會自動繼承父目錄的組。

六、Kerberos認證（增強安全性）

在高度安全的環境中，建議集成Kerberos認證，實現強身份驗證。關鍵步驟：

1. 配置Kerberos客戶端：編輯/etc/krb5.conf文件，指定KDC服務器和默認領域；
2. 獲取Kerberos票據：使用kinit命令獲取臨時票據（有效期默認10小時）：

   kinit hadoopuser@REALM  # 替換為實際用戶名和領域
   

3. Hadoop配置：在core-site.xml中啟用Kerberos認證：

   <property>
       <name>hadoop.security.authentication</name>
       <value>kerberos</value>
   </property>
   <property>
       <name>hadoop.security.authorization</name>
       <value>true</value>
   </property>
   

   配置后，用戶需先通過kinit認證才能訪問HDFS。

七、審計日志監控

通過審計日志可跟蹤所有對HDFS的訪問和修改操作，便于排查安全問題。配置core-site.xml開啟審計日志：

<property>
    <name>hadoop.security.audit.log.enabled</name>
    <value>true</value>
</property>
<property>
    <name>hadoop.security.audit.log.path</name>
    <value>/var/log/hadoop-hdfs/audit.log</value>  # 日志路徑
</property>
<property>
    <name>hadoop.security.audit.log.maxsize</name>
    <value>10485760</value>  # 單個日志文件最大大?。?0MB）
</property>
<property>
    <name>hadoop.security.audit.log.rotation.period</name>
    <value>86400</value>  # 日志輪轉周期（秒，1天）
</property>

日志會記錄用戶操作（如read、write、delete）、操作時間、IP地址等信息。