溫馨提示×

怎么關閉spark自動廣播參數

小億
471
2024-06-04 15:28:18
欄目: 大數據

關閉Spark的自動廣播參數可以通過設置spark.sql.autoBroadcastJoinThreshold參數為一個較大的值或者設置為-1來禁用自動廣播。具體的操作步驟如下:

  1. 在啟動Spark應用程序的時候,可以通過--conf選項來設置spark.sql.autoBroadcastJoinThreshold參數的值。例如:
./bin/spark-submit --conf spark.sql.autoBroadcastJoinThreshold=-1 --class your_main_class your_spark_application.jar
  1. 在代碼中通過SparkSession對象來設置spark.sql.autoBroadcastJoinThreshold參數的值。例如:
val spark = SparkSession.builder()
  .appName("YourAppName")
  .config("spark.sql.autoBroadcastJoinThreshold", -1)
  .getOrCreate()

通過以上兩種方式設置spark.sql.autoBroadcastJoinThreshold參數的值為-1,即可關閉Spark的自動廣播參數。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女