在Apache Spark中，要對數據進行排序并歸檔，可以使用sortBy函數對數據進行排序，然后使用write.partitionBy將排序后的數據寫入不同的分區。以下是一個簡單的示例：
首先，我們需要導入所需的庫并創建一個SparkSession：
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Sort and Archive") \
.getOrCreate()
接下來，我們創建一個包含一些示例數據的DataFrame：
data = [("Alice", 34), ("Bob", 27), ("Cathy", 29), ("David", 31)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)
現在，我們可以使用sortBy函數對數據進行排序，然后使用write.partitionBy將排序后的數據寫入不同的分區：
# 按年齡對數據進行排序
sorted_df = df.sortBy("Age")
# 將排序后的數據寫入不同的分區，例如按年份（如20-30, 31-40等）進行歸檔
sorted_df.write.partitionBy("Age").csv("output/path")
這將把排序后的數據寫入output/path目錄下的不同子目錄中，每個子目錄對應一個年齡范圍。例如，年齡為27的Bob將被寫入output/path/20-30目錄下。
