在Linux系統上安裝Apache Spark后,可以通過以下步驟來測試安裝是否成功:
在服務器的控制臺上執行以下命令來查找Spark的安裝目錄:
find / -name spark
如果找到了Spark安裝目錄,則說明Spark已經安裝在服務器上。
在服務器的控制臺上執行以下命令來檢查是否已設置Spark的環境變量:
echo $SPARK_HOME
如果輸出結果不為空,并顯示Spark安裝目錄的路徑,則說明Spark已經設置了環境變量。
在服務器的控制臺上執行以下命令來查看安裝的Spark版本號:
spark-submit --version
這將輸出Spark的版本號信息,包括版本號以及其他相關信息。
通過執行以下命令來檢查服務器上是否運行著Spark相關的進程:
ps -ef | grep spark
如果輸出結果中顯示了與Spark相關的進程,則說明Spark正在服務器上運行。
在Spark的 bin
目錄下運行以下命令來提交一個示例作業,如計算圓周率的近似值:
spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.4.0.jar 10
這個命令會計算圓周率的近似值,其中 10
是計算的次數。
啟動Spark Shell:
$SPARK_HOME/bin/spark-shell
如果spark安裝成功,那么您將看到類似以下的輸出:
Welcome to
____ __
/ __/__ ___ _____/ /__
/ _// _ \/ _ `/ _ `/ _ `/
/___/\___/\__,_/\__,_/\__/
/
通過以上步驟,您可以確定服務器上是否安裝了Spark,并進一步查看Spark的版本號、環境變量設置情況以及Spark相關進程和端口的運行情況。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。