是的，Apache Spark MLlib 是 Spark 的一個機器學習庫，它提供了許多機器學習算法，包括分類、回歸、聚類、協同過濾等。雖然 MLlib 最初是為了批處理而設計的，但它也可以用于實時計算。
為了實現實時計算，Spark Streaming 是一個與 MLlib 配合使用的組件。Spark Streaming 允許您從各種數據源（如 Kafka、Flume、HDFS 等）接收實時數據流，并將這些數據流轉換為 Spark 的彈性分布式數據集（RDD）。然后，您可以使用 MLlib 對這些實時數據進行處理和分析。
以下是一個簡單的示例，展示了如何使用 Spark Streaming 和 MLlib 進行實時文本分類：
from pyspark import SparkConf, SparkContext
from pyspark.streaming import StreamingContext
from pyspark.ml.feature import Tokenizer, HashingTF
from pyspark.ml.classification import NaiveBayes
from pyspark.sql import Row
# 初始化 Spark 配置和上下文
conf = SparkConf().setAppName("RealTimeTextClassification")
sc = SparkContext(conf=conf)
ssc = StreamingContext(sc, 1) # 設置批處理間隔為 1 秒
# 從 Kafka 讀取實時數據流
kafkaStream = KafkaUtils.createDirectStream(ssc, ["input-topic"], {"metadata.broker.list": "localhost:9092"})
# 解析 JSON 數據并創建 DataFrame
data = kafkaStream.map(lambda x: json.loads(x[1]))
df = data.map(lambda row: Row(text=row["text"]))
# 特征提取
tokenizer = Tokenizer(inputCol="text", outputCol="words")
wordsData = tokenizer.transform(df)
hashingTF = HashingTF(inputCol="words", outputCol="features")
featurizedData = hashingTF.transform(wordsData)
# 訓練樸素貝葉斯分類器
labelIndexer = Indexer(inputCol="label", outputCol="indexedLabel")
labelIndexData = labelIndexer.fit(df).transform(df)
(trainingData, testData) = labelIndexData.randomSplit([0.8, 0.2])
naiveBayes = NaiveBayes(labelCol="indexedLabel", featuresCol="features")
model = naiveBayes.fit(trainingData)
# 實時預測
predictions = model.transform(featurizedData)
predictions.pprint()
# 啟動 StreamingContext
ssc.start()
ssc.awaitTermination()
這個示例展示了如何使用 Spark Streaming 從 Kafka 讀取實時數據流，使用 MLlib 的 NaiveBayes 分類器進行實時文本分類，并打印預測結果。請注意，這個示例僅用于演示目的，實際應用中可能需要根據您的需求進行調整。
