Proxmox VE6.0.4最新版集群搭建實錄

鏡像下載地址：https://www.proxmox.com/en/downloads
安裝過程圖解：
1、

2、

3、

4、

5、

6、

7、

8、

9、瀏覽器WEB登陸控制臺一覽

ssh登陸上去查看下版本:

這里我們依然創建三個結點的集群（PVE1-PVE3,192.168.26.210-212)其它結點安裝略配置方法一樣。
依然要更新配置下源及系統（看似相同注意版本差異）
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade

如果要上傳ISO鏡，默認的位置展示一下：

開始創建pve集群：
pve1上執行：
pvecm create bd-data-center

pve2上執行：
root@pve2:~# pvecm add 192.168.26.210

注意需要輸入密碼進行通信認證。
同樣PVE3上執行:
root@pve3:~# pvecm add 192.168.26.210

查看下此時集群狀態：任一結點上執行效果一樣（展示兩個結點上執行的效果）


登陸WEB控制臺查看下此時效果：

接著安裝CEPH存儲（三個結點分別安裝）



初始化ceph集群網段：pveceph init --network 192.168.26.0/22

此時若命令查看CEPH狀態會報錯：pveceph status

各結點創建ceph集群存儲Mon監控：
pveceph createmon

root@pve2:~# pveceph createmon

root@pve3:~# pveceph createmon

此時查看CEPH狀態：

Ansible看下各結點吧，其實都一樣的。

創建mgr三個結點都需要執行
pveceph createmgr #此結點提示已經存在



查看WEB控制臺此時集群狀態:


Creating Ceph OSDs
創建Ceph OSDs 存儲（三個結點執行同樣操作）

root@pve1:~# pveceph createosd /dev/sdb

在PVE1上執行后馬上看下WEB控制臺看下此時狀態變化情況


PVE1上磁盤和配置信息變化情況

同樣其它兩個結點執行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
創建ceph集群存儲資源池ceph osd pool create [資源池名稱] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128



#添加RBD集群存儲

#查看rbd集群存儲配置信息(集群任一結點查看都一樣）

root@pve1:~# cat /etc/pve/storage.cfg
創建前的效果：


創建后的效果：

添加資源池：dbdata,iscpool,idcpool

HA群組創建：ISCVM,IDCVM


創建虛擬服務器：

其中遇到的報錯解決方法：
root@pve1:~# ceph health detail

報錯解決方法：ceph osd pool application enable datacenter rbd

高可用狀態下不能進行克隆操作，否則會出錯，出現虛擬機鎖住，且無法直接刪除的現象。

無法刪除：
用命令解鎖之后即可刪除虛擬機。

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用狀態，再進行克隆操作：