如何快速安裝Linux Spark

在Linux系統上快速安裝Apache Spark的步驟如下：

準備工作

1. 安裝JDK：確保系統上已經安裝了JDK，并且配置了正確的環境變量。
2. 安裝Hadoop：如果使用Standalone模式，需要提前安裝Hadoop。

下載Spark

1. 訪問Spark官網，下載與你的Hadoop版本兼容的Spark預編譯包。例如，如果你使用的是Hadoop 3.x，可以下載Spark 3.5.x版本。

解壓Spark

1. 將下載的Spark安裝包上傳到Linux服務器。
2. 在指定目錄解壓安裝包，例如：

   tar -zxvf spark-3.5.2-bin-hadoop3-scala2.13.tgz -C /opt/module/
   

3. 重命名解壓后的目錄：

   mv spark-3.5.2-bin-hadoop3-scala2.13 spark-3.5.2
   

配置環境變量

1. 編輯/etc/profile文件，添加以下內容：

   export JAVA_HOME=/opt/module/jdk-1.8.361
   export PATH=$PATH:$JAVA_HOME/bin
   export HADOOP_HOME=/opt/module/hadoop-3.3.6
   export PATH=$PATH:$HADOOP_HOME/sbin
   export PATH=$PATH:$HADOOP_HOME/bin
   export SPARK_HOME=/opt/module/spark-3.5.2
   

2. 使環境變量生效：

   source /etc/profile
   

啟動Spark集群

1. 在Master節點上，進入Spark的sbin目錄，執行以下命令啟動集群：

   ./start-all.sh
   

2. 在Master節點上，打開瀏覽器，訪問http://<Master-IP>:8080，查看Spark集群的狀態。

驗證安裝

1. 在Master節點上，輸入以下命令啟動spark-shell，進入交互模式：

   ./bin/spark-shell
   

2. 提交一個簡單的Spark應用程序進行測試：

   ./bin/spark-submit --master spark://<Master-IP>:7077 test.py
   

注意事項

• 確保所有節點的時間同步，以避免因時間不同步導致的認證問題。
• 如果使用Standalone模式，需要在所有節點上配置slaves文件，指定各個Worker節點的主機名。

通過以上步驟，你可以在Linux系統上快速安裝并啟動Spark集群。根據你的具體需求，可以選擇不同的運行模式進行配置。