以下是在Ubuntu上集成HDFS的解決方案:
更新軟件包列表:sudo apt update
。安裝OpenJDK:sudo apt install openjdk-8-jdk
,并設置JAVA_HOME
環境變量。
從Apache Hadoop官網下載Hadoop,解壓到指定目錄,如/usr/local/hadoop
。配置環境變量,編輯~/.bashrc
,添加export HADOOP_HOME=/usr/local/hadoop
和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
,然后執行source ~/.bashrc
。進入Hadoop配置目錄/usr/local/hadoop/etc/hadoop
,編輯hadoop-env.sh
設置JAVA_HOME
,編輯core-site.xml
設置fs.defaultFS
為hdfs://localhost:9000
,編輯hdfs-site.xml
設置副本數等參數,如dfs.replication
。創建HDFS臨時目錄并授權,如sudo mkdir -p /usr/local/hadoop_tmp/hdfs
和sudo chown $USER:$USER /usr/local/hadoop_tmp/hdfs
。格式化HDFS:hdfs namenode -format
,啟動HDFS:start-dfs.sh
。
以上步驟參考自。