Apache Spark on Kubernetes 的調度是通過 Kubernetes 的資源調度器進行的。Kubernetes 使用一種稱為 Pod 的最小單位來調度和管理容器。Spark 應用程序在 Kubernetes 上運行時，會被拆分成多個 Task，每個 Task 都是一個容器。Kubernetes 會根據資源需求和調度策略來分配這些 Task 到不同的節點上運行。
以下是 Spark on Kubernetes 調度的主要步驟：
資源請求和限制：在 Spark 應用程序的配置中，可以設置資源請求（Resource Request）和資源限制（Resource Limit）。資源請求用于告知 Kubernetes 調度器容器所需的 CPU 和內存資源，而資源限制則用于限制容器可以使用的最大資源量。
調度策略：Kubernetes 支持多種調度策略，如 PriorityClass 和 PodAntiAffinity 等。這些策略可以根據應用程序的需求和集群的資源狀況來影響調度的結果。
PriorityClass：用于定義不同優先級的 Pod，調度器會根據優先級來決定調度哪個 Pod。PodAntiAffinity：用于確保在同一節點上不會同時運行多個具有特定標簽的 Pod，以避免資源爭用。調度器：Kubernetes 提供了兩種調度器：kube-scheduler 和 spark-scheduler。kube-scheduler 負責將 Pod 調度到集群中的節點上，而 spark-scheduler 則負責在 Spark 應用程序內部進行任務調度。
kube-scheduler：根據資源請求、資源限制和調度策略等信息，將 Pod 調度到合適的節點上。它使用一個名為 scheduling.k8s.io/priorityClassName 的注解來指定 Pod 的優先級。spark-scheduler：在 Spark 應用程序內部，負責將任務調度到不同的 Executor 上運行。它會根據資源需求和任務的優先級來決定任務的執行順序。自動擴縮容：Spark on Kubernetes 還支持根據資源需求和負載情況自動擴縮容。通過設置水平 Pod 自動擴縮容（Horizontal Pod Autoscaler，HPA），可以根據 CPU 使用率、內存使用率等指標自動增加或減少 Spark 應用程序的實例數量。
總之，Spark on Kubernetes 的調度是通過 Kubernetes 的資源調度器和 Spark 應用程序內部的調度器共同完成的。通過合理設置資源請求、資源限制和調度策略等信息，可以實現高效的資源利用和負載均衡。
