在Apache Spark中，flatMap是一個用于將集合（如列表、數組等）扁平化為單個元素集合的轉換操作
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("Complex FlatMap Example")
sc = SparkContext(conf=conf)
data = [("A", [1, 2, 3]), ("B", [4, 5]), ("C", [6])]
rdd = sc.parallelize(data)
在這個例子中，我們創建了一個包含元組（字符串）和嵌套列表的RDD。
def complex_flatMap(record):
key, value = record
for item in value:
yield (key, item)
這個函數接收一個元組，將其拆分為鍵和值，然后遍歷值列表，為每個元素生成一個新的元組（鍵，值）。
flatMap操作應用復雜的邏輯函數：result_rdd = rdd.flatMap(complex_flatMap)
result = result_rdd.collect()
print(result)
這將輸出：
[('A', 1), ('A', 2), ('A', 3), ('B', 4), ('B', 5), ('C', 6)]
這個例子展示了如何在Spark中使用復雜的flatMap邏輯來處理嵌套的數據結構。你可以根據自己的需求修改complex_flatMap函數以適應不同的數據處理場景。
