是的，Spark的sortBy函數支持自定義排序規則。你可以通過傳遞一個Ordering對象給sortBy函數來實現自定義排序規則。Ordering對象定義了元素的排序順序。
以下是一個使用自定義排序規則的示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 創建一個Spark會話
spark = SparkSession.builder \
.appName("Custom Sorting") \
.getOrCreate()
# 創建一個簡單的DataFrame
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29), ("David", 31)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)
# 自定義排序規則：按年齡升序排序，年齡相同則按姓名升序排序
ordering = col("Age").asc().thenBy(col("Name").asc())
# 使用自定義排序規則對DataFrame進行排序
sorted_df = df.orderBy(ordering)
# 顯示排序后的DataFrame
sorted_df.show()
輸出結果：
+-----+---+
| Name|Age|
+-----+---+
|Alice| 34|
|David| 31|
|Cathy| 29|
| Bob| 45|
+-----+---+
在這個示例中，我們首先按年齡升序排序，然后在年齡相同的情況下按姓名升序排序。你可以根據需要修改ordering對象來實現不同的自定義排序規則。
