# Docker中怎么搭建一個Spark集群
## 概述
Apache Spark作為分布式計算框架，結合Docker容器化技術可以快速部署彈性集群。本文將介紹基于Docker Compose搭建Spark集群的標準方法。
## 準備工作
1. 安裝Docker及Docker Compose
2. 準備至少4GB內存的機器
3. 下載Spark官方鏡像：`docker.io/bitnami/spark:latest`
## 集群架構
- 1個Master節點（Spark Driver）
- 2個Worker節點（Spark Executor）
## 部署步驟
### 1. 編寫docker-compose.yml
```yaml
version: '3'
services:
spark-master:
image: bitnami/spark:3.5
ports:
- "8080:8080"
- "7077:7077"
environment:
- SPARK_MODE=master
spark-worker:
image: bitnami/spark:3.5
depends_on:
- spark-master
environment:
- SPARK_MODE=worker
- SPARK_MASTER_URL=spark://spark-master:7077
scale: 2
docker-compose up -d
訪問Master Web UI：http://localhost:8080，應看到2個活躍Worker節點。
docker-compose的resources參數配置通過這種方式，10分鐘內即可完成Spark集群的搭建，適合開發測試環境快速部署。 “`
（全文約350字）
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
