Docker中怎么部署ceph存儲集群

# Docker中怎么部署Ceph存儲集群

## 前言

Ceph作為開源的分布式存儲系統，以其高可靠性、高擴展性和高性能著稱。傳統部署方式需要多臺物理機或虛擬機，而借助Docker容器化技術，我們可以快速搭建Ceph集群環境。本文將詳細介紹在Docker環境中部署Ceph存儲集群的全過程。

---

## 一、環境準備

### 1.1 硬件要求
- 至少3個節點（推薦4節點：1管理節點+3OSD節點）
- 每個節點建議配置：
  - 4核CPU
  - 8GB內存
  - 50GB系統盤 + 額外未格式化磁盤（用于OSD）
- 千兆網絡環境

### 1.2 軟件要求
- Docker 20.10+
- Docker Compose 1.29+
- Ceph容器鏡像（推薦使用官方`ceph/daemon`）

```bash
# 檢查Docker版本
docker --version
docker-compose --version

# 拉取Ceph鏡像
docker pull ceph/daemon:latest-octopus

二、網絡配置

2.1 創建專用網絡

docker network create --subnet=172.18.0.0/16 ceph-net

2.2 節點規劃示例

三、部署Monitor節點

3.1 啟動Monitor容器

docker run -d --name ceph-mon1 \
  --net ceph-net --ip 172.18.0.11 \
  -e MON_IP=172.18.0.11 \
  -e CEPH_PUBLIC_NETWORK=172.18.0.0/16 \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph/:/var/lib/ceph/ \
  ceph/daemon:latest-octopus mon

3.2 驗證Monitor狀態

docker exec ceph-mon1 ceph -s

預期輸出應顯示mon: 1 daemons的健康狀態

四、部署OSD節點

4.1 準備OSD磁盤

# 在每個OSD節點上執行
lsblk  # 確認磁盤路徑（如/dev/sdb）

4.2 啟動OSD容器（示例節點1）

docker run -d --name ceph-osd1 \
  --net ceph-net --ip 172.18.0.21 \
  --privileged=true \
  --pid=host \
  -v /dev/:/dev/ \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph/:/var/lib/ceph/ \
  -e OSD_DEVICE=/dev/sdb \
  -e OSD_TYPE=disk \
  ceph/daemon:latest-octopus osd

4.3 批量部署OSD腳本

#!/bin/bash
for node in 21 22 23; do
  docker run -d --name ceph-osd${node} \
    --net ceph-net --ip 172.18.0.${node} \
    ... # 同上參數
done

五、部署MDS和RGW服務

5.1 元數據服務(MDS)

docker run -d --name ceph-mds1 \
  --net ceph-net \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph/:/var/lib/ceph/ \
  ceph/daemon:latest-octopus mds

5.2 對象網關(RGW)

docker run -d --name ceph-rgw1 \
  --net ceph-net \
  -p 8080:8080 \
  -v /etc/ceph:/etc/ceph \
  -v /var/lib/ceph/:/var/lib/ceph/ \
  ceph/daemon:latest-octopus rgw

六、集群配置管理

6.1 生成配置文件

docker exec ceph-mon1 ceph config generate-minimal-conf > /etc/ceph/ceph.conf

6.2 關鍵配置示例

[global]
fsid = $(docker exec ceph-mon1 ceph fsid)
mon initial members = ceph-mon1
mon host = 172.18.0.11
public network = 172.18.0.0/16
cluster network = 172.18.0.0/16
osd pool default size = 3
osd pool default min size = 1

6.3 創建存儲池

docker exec ceph-mon1 ceph osd pool create rbd_pool 128 128
docker exec ceph-mon1 ceph osd pool application enable rbd_pool rbd

七、驗證集群狀態

7.1 檢查集群健康

docker exec ceph-mon1 ceph -s

健康狀態應為HEALTH_OK

7.2 OSD樹狀圖

docker exec ceph-mon1 ceph osd tree

7.3 性能測試

docker exec ceph-mon1 rados bench -p rbd_pool 10 write --no-cleanup

八、使用Docker Compose部署（可選）

8.1 docker-compose.yml示例

version: '3'
services:
  mon:
    image: ceph/daemon:latest-octopus
    command: mon
    environment:
      - MON_IP=172.18.0.11
      - CEPH_PUBLIC_NETWORK=172.18.0.0/16
    networks:
      ceph-net:
        ipv4_address: 172.18.0.11
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph:/var/lib/ceph

  osd1:
    image: ceph/daemon:latest-octopus
    command: osd
    environment:
      - OSD_DEVICE=/dev/sdb
    # 其他參數...
    
networks:
  ceph-net:
    driver: bridge
    ipam:
      config:
        - subnet: 172.18.0.0/16

九、常見問題排查

9.1 Monitor無法啟動

• 檢查/var/lib/ceph/mon/目錄權限
• 查看容器日志：docker logs ceph-mon1

9.2 OSD啟動失敗

• 確認磁盤路徑正確
• 檢查內核日志：dmesg | grep ceph

9.3 網絡連通性問題

docker exec ceph-mon1 ping 172.18.0.21

十、生產環境建議

1. 數據持久化：

   • 使用--mount代替-v綁定掛載
   • 考慮CSI插件實現動態卷

2. 監控方案：

   docker run -d --name ceph-grafana \
    -p 3000:3000 \
    -v /etc/ceph:/etc/ceph \
    ceph/daemon:latest-octopus grafana
   

3. 備份策略：

   • 定期備份/etc/ceph和/var/lib/ceph/bootstrap-*目錄
   • 使用ceph-volume工具導出OSD數據

結語

通過Docker部署Ceph集群大幅簡化了環境搭建過程，但需要注意： - 生產環境建議使用Kubernetes編排 - OSD性能對磁盤IO敏感，建議使用SSD - 網絡延遲會顯著影響集群性能

附錄： - Ceph官方文檔 - Docker存儲驅動選擇指南 “`

注：實際部署時請根據具體環境調整參數，本文示例基于Ceph Octopus版本。建議先在測試環境驗證后再應用于生產環境。