以下是在Ubuntu上設置Hadoop安全性的關鍵方法:
啟用Kerberos認證
sudo apt-get install krb5-kdc krb5-admin-server krb5-user
。/etc/krb5.conf
,設置默認領域(如EXAMPLE.COM
)和KDC服務器地址。hdfs/hostname@EXAMPLE.COM
)并生成Keytab文件,配置到hdfs-site.xml
中。core-site.xml
中設置hadoop.security.authentication=kerberos
。配置HDFS權限管理
hdfs dfs -chmod
和hdfs dfs -chown
命令設置文件/目錄權限,限制用戶訪問范圍。hdfs-site.xml
中設置dfs.permissions.enabled=true
。限制用戶權限
root
用戶運行Hadoop,創建專用用戶(如hadoop
)并添加到sudo
組。sudo visudo
限制用戶僅能執行必要命令,避免權限濫用。加密傳輸與防火墻
hadoop.ssl.enabled=true
及相關證書)。ufw
)限制Hadoop節點間通信端口(如HDFS默認9000、YARN默認8088),僅允許信任IP訪問。審計與監控
hadoop.audit.logger
配置),記錄用戶操作。參考來源: