在 Spark Web UI 中,您可以按照以下步驟查看執行計劃:
打開 Spark Web UI。通常,它可以通過訪問 http://<your-spark-master-or-driver-node>:4040
來訪問。
在 Web UI 的左側導航欄中,點擊 “Jobs”。這將顯示所有已提交給 Spark 作業的列表。
找到您想要查看執行計劃的作業,點擊作業 ID。這將打開一個新的選項卡,顯示該作業的所有相關信息。
在作業選項卡中,向下滾動到 “Event Timeline” 部分。這里會顯示作業中的各個階段以及它們的開始和結束時間。
點擊您感興趣的階段 ID。這將打開一個新的選項卡,顯示該階段的詳細信息。
在階段選項卡中,點擊 “Executor ID”。這將打開一個新的選項卡,顯示該執行器上的所有任務。
在任務選項卡中,點擊您感興趣的任務 ID。這將打開一個新的選項卡,顯示該任務的詳細執行計劃。
在這個任務選項卡中,您可以查看任務的 SQL、RDD、DataFrame 等操作,以及它們之間的依賴關系。這有助于您了解 Spark 如何執行您的作業以及可能的性能瓶頸。