Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC，软件定义的存储以及网络功能。借助基于Web的集成用户界面，您可以轻松管理VM和容器，高可用性群集或集成的灾难恢复工具。
同时Proxmox VE对接Proxmox备份服务器，可实现对VM、容器的全量和增量备份，可显著减少网络负载并节省宝贵的存储空间。
pve官方备份组件：pbs部署及策略设置教程
本文章所述环境采用3台物理服务器（含4口万兆网卡），1台万兆业务交换机，1台万兆管理交换机。
注意：由于使用ceph搭建分布式存储，为保证性能，ceph存储网络及业务网络强烈建议采用全万兆部署，管理网络可以采用千兆。
本案例中将ceph存储网络和管理网络合并部署，共用1个万兆接口，业务网络单独使用一个万兆接口。如条件允许，建议为ceph规划单独的网络，即：管理（千兆×2）、业务（万兆×2）、ceph存储网络（万兆×2），三个网络分离部署。
本次部署采用当前最新版本：Proxmox VE 6.3，可根据当时情况选择最新版本。
| 型号 | 配置 | 数量 |
|---|---|---|
| DELL R930 | CPU：Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz 内存：512GB RAID卡：PERC H730P Adapter SSD：1.5TB 4块 HDD：1.2TB 10块 | 3 |
访问官网下载ISO镜像文件，根据需要选择版本：
https://www.proxmox.com/en/downloads/category/iso-images-pve
生产环境对可靠性要求较高，所以建议采用链路聚合方式，将多个物理网卡绑定为一个逻辑接口，从而提高网络的性能及可靠性。
链路聚合可在以下三种模式中选择：
| vlan号 | 用途 | IP网段 | 网关 |
|---|---|---|---|
| 1 | 管理 | 10.1.1.0/24 | 10.1.1.254 |
| 3 | 业务 | 10.1.3.0/24 | 10.1.3.254 |
| 4 | 业务 | 10.1.4.0/24 | 10.1.4.254 |
| 5 | 业务 | 10.1.5.0/24 | 10.1.5.254 |
以华为交换机为例。
vlan batch 3 to 5
interface Vlanif1 //vlan1，管理网络网关
ip address 10.1.1.254 255.255.255.0
interface Vlanif3 //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
interface Vlanif4 //vlan4，业务网络网关
ip address 10.1.4.254 255.255.255.0
interface Vlanif5 //vlan5，业务网络网关
ip address 10.1.5.254 255.255.255.0
interface Eth-Trunk101 //用于节点1管理口
description to-pve1-mgmt
port link-type access
mode lacp
#
interface Eth-Trunk102 //用于节点2管理口
description to-pve2-mgmt
port link-type access
mode lacp
#
interface Eth-Trunk103 //用于节点3管理口
description to-pve3-mgmt
port link-type access
mode lacp
#
interface Eth-Trunk104 //用于节点1业务口
description to-pve1-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
#
interface Eth-Trunk105 //用于节点2业务口
description to-pve2-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
#
interface Eth-Trunk106 //用于节点3业务口
description to-pve3-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
interface GigabitEthernet0/0/10 //连接节点1管理口eno1
description pve1-mgmt-eno1
eth-trunk 101
#
interface GigabitEthernet0/0/11 //连接节点1管理口eno2
description pve1-mgmt-eno2
eth-trunk 101
#
interface GigabitEthernet0/0/12 //连接节点2管理口eno1
description pve2-mgmt-eno1
eth-trunk 102
#
interface GigabitEthernet0/0/13 //连接节点2管理口eno2
description pve2-mgmt-eno2
eth-trunk 102
#
interface GigabitEthernet0/0/14 //连接节点3管理口eno1
description pve3-mgmt-eno1
eth-trunk 103
#
interface GigabitEthernet0/0/15 //连接节点3管理口eno2
description pve3-mgmt-eno2
eth-trunk 103
#
interface GigabitEthernet0/0/16 //连接节点1业务口eno3
description pve1-data-eno3
eth-trunk 104
#
interface GigabitEthernet0/0/17 //连接节点1业务口eno4
description pve1-data-eno4
eth-trunk 104
#
interface GigabitEthernet0/0/18 //连接节点2业务口eno3
description pve2-data-eno3
eth-trunk 105
#
interface GigabitEthernet0/0/19 //连接节点2业务口eno4
description pve2-data-eno4
eth-trunk 105
#
interface GigabitEthernet0/0/20 //连接节点3业务口eno3
description pve3-data-eno3
eth-trunk 106
#
interface GigabitEthernet0/0/21 //连接节点3业务口eno4
description pve3-data-eno4
eth-trunk 106
| 序号 | 主机名 | 域名 |
|---|---|---|
| 1 | pve1 | test.local |
| 2 | pve2 | test.local |
| 3 | pve3 | test.local |
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。
| 名称 | source文件路径 |
|---|---|
| debain | /etc/apt/sources.list |
| pve | /etc/apt/sources.list.d/pve-no-subscription.list |
| ceph | /etc/apt/sources.list.d/ceph.list |
vi /etc/apt/sources.list
deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
deb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
deb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
mv /etc/apt/sources.list.d/pve-enterprise.list /root
vi /etc/apt/sources.list.d/pve-no-subscription.list
deb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
vi /etc/apt/sources.list.d/ceph.list
deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main
apt update
根据实际需求决定是否更新为最新版本。
如需更新三台节点都需要执行：
apt upgrade
此组件用于配置网卡后重启网卡操作：
apt install ifupdown2
apt install vim
阿里云：ntp.aliyun.com
国家授时中心：ntp.ntsc.ac.cn
vim /etc/systemd/timesyncd.conf
systemctl restart systemd-timesyncd
放一张图有助于理解配置，可以结合5.1.1章节拓扑图理解。
业务网络配置与管理网络类似。
在交换机中检查聚合接口状态是否正常。
display eth-trunk 101
display eth-trunk 102
display eth-trunk 103
display eth-trunk 104
display eth-trunk 105
display eth-trunk 106
查看所有eth-trunk接口状态，Status为Selected，则聚合接口正常。
创建集群，将三台节点加入同一集群。
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群，对外可提供文件存储、块存储、对象存储等多种形式，ceph的另一个特点是数据采用多副本方式存储，避免由于单点故障造成的业务中断和数据丢失。
PVE自带了ceph的图形化安装、管理工具，集群搭建完成后，可以快速完成ceph的安装、配置。同时pve也提供命令行工具，可以使用命令行对ceph进行自定义配置。
注意：ceph存储池可采用3副本或2副本模式，副本模式下，裸容量不等于可用容量。假设裸容量为60TB，采用3副本模式的情况下，可用容量=裸容量/副本数=60TB/3=20TB；采用2副本模式的情况下，可用容量=裸容量/副本数=60TB/2=30TB。规划容量时请务必考虑副本因素
本环境中，sda到sdh为8块HDD硬盘。sdi到sdl为4块SSD硬盘。
为提高hdd的性能，我们将sdi作为所有hdd硬盘的DB盘，将sdj作为所有hdd硬盘的WAL磁盘。
注意：DB盘和WAL盘不能相同。
容量规划建议：根据PVE文档建议，DB盘容量=数据盘总容量×10%，WAL盘容量=数据盘总容量×1%，假设数据盘共8T，则DB盘容量需>800G，WAL盘容量需>80G，考虑到单位换算及损耗，需要适当增加容量，请根据实际情况规划。
| 物理路径 | 磁盘类型 | DB磁盘 | WAL磁盘 | 角色 |
|---|---|---|---|---|
| /dev/sda | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdb | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdc | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdd | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sde | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdf | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdg | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdh | HDD | /dev/sdi | /dev/sdj | 数据盘 |
| /dev/sdi | SSD | 不适用 | 不适用 | DB盘 |
| /dev/sdj | SSD | 不适用 | 不适用 | WAL盘 |
| /dev/sdk | SSD | /dev/sdk | /dev/sdk | 数据盘 |
| /dev/sdl | SSD | /dev/sdl | /dev/sdl | 数据盘 |
在全部节点中，安装ceph组建。
Public Network：公共网（前端），默认只存在公共网，用于承载ceph集群所有流量（包括存储读写、心跳、对象复制和恢复流量等流量）。
Cluster Network：集群网（后端），如果单独配置了集群网，OSD将把心跳、对象复制和恢复流量路由到集群网。
配置pve中的ceph时，中小型规模的集群，Public Network选择之前规划的ceph网路（本案例中为管理网络），Cluster Network选择与公共网络相同，其他配置保持默认即可。大规模ceph建议采用Public Network与Cluster Network分离的方式，与单个网络相比会提升性能。如需修改网络部署模式，需要自行对"5.物理网络"和"10.PVE网络配置"中的规划进行调整。
此配置是将ssd硬盘和hdd硬盘分别创建pool，分别为sdd_data和hdd_data，如需将ssd作为hdd的缓存层请关注我的后续文章。
在 ”ceph“ — ”osd“ 选项卡创建OSD。
正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。
创建方式如下：
ceph osd crush rm-device-class osd.0
ceph osd crush set-device-class ssd osd.0
ceph osd crush rule create-replicated hdd_rule default host hdd
ceph osd crush rule create-replicated ssd_rule default host ssd
ceph osd pool create hdd_data hdd_rule
ceph osd pool create ssd_data ssd_rule
”数据中心“ — ”存储“ — ”添加“ — ”RBD“。
生成密钥
设置名称及密码
设置密码为可选项，为保证密钥安全，建议设置。
vim /root/.ssh/authorized_keys
#编辑sshd配置文件
vim /etc/ssh/sshd_config
#将下列配置添加到最后一行
PasswordAuthentication no
#重启sshd服务
systemctl restart sshd
添加令牌
点击右上角用户名 - TFA，扫描二维码添加令牌，将令牌中显示的数字输入下方验证码框中，点击应用即可。
为防止手机故障造成令牌不可用，请备份令牌
点击右上角三个点，选择转移账号，导出账号，选择需要导出的账号，备份此二维码或使用其他手机扫描此二维码。需要恢复时，用其他手机扫描此二维码即可。