在Spark中,可以使用spark.read.partitionBy()方法來讀取HDFS文件分區。這個方法可以指定一個或多個分區字段,在讀取文件時會根據這些字段的值進行分區。
例如,假設有一個HDFS目錄/path/to/files,其中包含分區字段year和month,可以使用以下代碼來讀取這個文件分區:
df = spark.read.format("parquet").option("header", "true").load("/path/to/files").partitionBy("year", "month")
這將讀取/path/to/files目錄下所有文件,并根據year和month字段的值進行分區??梢酝ㄟ^df.show()方法查看讀取的數據。