溫馨提示×

Spark sortByKey函數怎么使用

小億
153
2023-12-07 09:31:42
欄目: 大數據

sortByKey函數是Spark中的一個操作,它可以對鍵值對RDD中的鍵進行排序。

使用sortByKey函數的語法如下:

val sortedRDD = pairRDD.sortByKey([ascending: Boolean], [numPartitions: Int])

參數說明:

  • ascending:可選參數,表示是否按升序排序,默認為true。
  • numPartitions:可選參數,表示輸出的RDD的分區數,默認為輸入的RDD的分區數。

示例:

val rdd = sc.parallelize(List((3, "apple"), (2, "banana"), (1, "orange")))
val sortedRDD = rdd.sortByKey()
sortedRDD.foreach(println)

輸出結果:

(1,orange)
(2,banana)
(3,apple)

在上面的示例中,我們創建了一個鍵值對RDD,然后使用sortByKey函數對鍵進行排序,默認按升序排序。最后通過foreach操作來打印排序后的結果。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女