在Spark中，如果你想要對legirls（假設是一個DataFrame）進行數據去重，你可以使用dropDuplicates方法。這個方法會刪除DataFrame中重復的行。以下是一個基本的示例：
from pyspark.sql import SparkSession
# 創建SparkSession
spark = SparkSession.builder \
.appName("Spark Legirls Data Deduplication") \
.getOrCreate()
# 假設legirls是你的DataFrame
# legirls = ...
# 使用dropDuplicates方法去重
legirls_deduplicated = legirls.dropDuplicates()
# 顯示去重后的DataFrame
legirls_deduplicated.show()
在這個示例中，dropDuplicates方法沒有指定任何參數，這意味著它會刪除所有列上的重復行。如果你只想根據某些特定的列去重，你可以傳遞一個列名列表給dropDuplicates方法：
# 假設我們只想根據'id'和'name'列去重
legirls_deduplicated_by_columns = legirls.dropDuplicates(['id', 'name'])
# 顯示根據特定列去重后的DataFrame
legirls_deduplicated_by_columns.show()
請注意，dropDuplicates方法會返回一個新的DataFrame，而不會修改原始DataFrame。如果你想要修改原始DataFrame，你可以使用dropDuplicates方法的subset參數來指定哪些列用于去重，并使用replace參數來替換原始DataFrame：
# 假設我們只想根據'id'列去重，并替換原始DataFrame
legirls.dropDuplicates(subset=['id'], replace=True)
但是，請注意，replace=True參數在較新的Spark版本中可能不可用。如果你使用的是較新的Spark版本，你應該使用dropDuplicates方法返回一個新的DataFrame，并將其賦值回原始變量，如上面的第一個示例所示。
