本帖最后由 阿崔 于 2018-3-27 16:16 编辑
4 软件
4.1 前言
这篇文章作为硬件篇的后续，本来应该在去年完成，但是由于作者懒癌晚期，就算看到之前有坛友从自组服务器变成给群晖做贡献，依然怀着内疚之情拖到今年春节才算完成。当然了这期间系统也有了不少升级，性能和易用性都得到了不小的提升。
4.2 设计
这个在前文中已经介绍过了，在新系统中随着后续应用，一个是因为网络性能，使用proxmox替换掉了ESXi，iSCSI的4k性能提升了大约30%。另一个是发现了可以和OnlyOffice整合的Nextcloud。整体系统架构如下。
HomeServer.png (209.84 KB, 下载次数: 9)
2018-2-25 06:16 上传
4.3 网络
从安全和易用性的角度，把家中的网络分为几大部分:
台式机
智能家居
网络设备管理
无线设备
访客网络
打印机
iSCSI存储网络结构如下：
HomeNetwork.png (482.35 KB, 下载次数: 10)
2018-2-25 03:23 上传
4.4 虚拟机系统
4.4.1 简介
使用基于KVM的Proxmox VE。相比同样免费的VMWare的ESXi，尽管在易用性上有所缺失，但是在网络性能和功能上都要好于ESXi。
4.4.2 安装
从 https://www.proxmox.com/en/downloads/category/iso-images-pve 下载PVE的ISO，当前最新版本为5.1。
如果使用服务器主板，可以用管理界面自带的虚拟光驱远程安装。
首先选择第一项安装Proxmox VE。
pve_install.png (70.87 KB, 下载次数: 3)
2018-3-4 16:18 上传
然后选择系统安装位置。默认会把对应设备按ext4+LVM进行分区，如果需要其他选项(比如ZFS的Raid 1)，请点击options按钮进行设置。
pve_install_disk.png (427.54 KB, 下载次数: 4)
2018-3-4 16:18 上传
之后会让你选择所在地区、系统时区和键盘设置。
pve_install_localization.png (428.33 KB, 下载次数: 3)
2018-3-4 16:18 上传
再下面是设置root密码和邮件地址。配置正确之后系统会向对应邮箱发送一些重要的事件提醒。
pve_install_admin.png (445.31 KB, 下载次数: 3)
2018-3-4 16:18 上传
最后是管理网络设置，这里是未来Proxmox VE Web管理界面的地址，推荐和常用网络分开。
pve_install_network.png (473.51 KB, 下载次数: 3)
2018-3-4 16:18 上传
全部完成后等待安装完成重启。
pve_install_finished.png (336.08 KB, 下载次数: 3)
2018-3-4 16:18 上传
然后前往之前配置的地址所在的Web管理界面进行后续配置(端口8006)
pve_setup_login.png (404.14 KB, 下载次数: 4)
2018-3-4 16:18 上传
登录后会提示没有订阅，不用管
pve_setup_subscription.png (22.12 KB, 下载次数: 4)
2018-3-4 16:18 上传
4.4.3 网络配置
根据我使用的主板和交换机，我使用LACP聚合NAS上的两个千兆端口来同时提供Web管理界面和FreeNAS上的存储以及Ubuntu Server提供的其他服务。万兆端口将直接把PCI设备Passthrough给FreeNAS，用于提供iSCSI服务。Ubuntu Server通过本地桥接访问FreeNAS。网络结构如下。Proxmox VE提供了Linux桥接和Open vSwitch两种方式配置网络。考虑到配置的方便性和扩展性，这里我使用Open vSwitch方式配置网络。
安装Open vSwitch
Debian自带的Open vSwitch据说基本不可用，所以我们需要使用Proxmox提供的版本。点击Shell(JS)进入Proxmox VE的命令行。依次执行如下命令：
pve_setup_shell.png (376.44 KB, 下载次数: 4)
2018-3-4 16:18 上传
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -复制代码
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list复制代码
apt update复制代码
apt install -y openvswitch-switch复制代码
pve_setup_add_source.png (87.06 KB, 下载次数: 4)
2018-3-4 16:18 上传
创建网络
首先删除默认的 vmbr0
pve_setup_network.png (44.65 KB, 下载次数: 3)
2018-3-4 16:18 上传
建立两个OVS Bridge，一个 vmbr0 用于聚合的千兆端口，另外一个 vmbr1 用于同一物理节点下不同系统间的通信。除了名字的所有选项均先设为空。
pve_setup_vmbr0.png (31.02 KB, 下载次数: 3)
2018-3-4 16:18 上传
然后建立一个OVS IntPort，用于管理端口的vlan tag为50的 vlan50 ，对应OVS Bridge为 vmbr0 ，地址为管理端口所需地址。
pve_setup_vlan50.png (33.94 KB, 下载次数: 3)
2018-3-4 16:18 上传
之后再建立一个OVS IntPort，名字为 internal ，对应OVS Bridge为 vmbr1 ，用于该物理节点下不同系统间通信，地址和其他网络不重复即可。
pve_setup_internal.png (35.07 KB, 下载次数: 3)
2018-3-4 16:18 上传
最后建立一个OVS Bond，名字为 bond0 ，聚合模式为 LACP(balance-slb) ，slaves一项填两个千兆网口对应的名字，中间用空格分开，这里为 ens18 ens19 ，对应OVS Bridge为 vmbr0 。
pve_setup_bond0.png (30.38 KB, 下载次数: 4)
2018-3-4 16:18 上传
然后修改DNS设置，把DNS服务器的IP地址填对。重启物理机之后使用刚才配置的管理地址访问Web管理界面。
pve_setup_dns.png (10.38 KB, 下载次数: 4)
2018-3-4 16:18 上传
4.4.4 开启PCI Passthrough
修改GRUB设置
先执行
nano /etc/default/grub复制代码
找到GRUB_CMDLINE_LINUX_DEFAULT="quiet" 一行，改为 GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
如果是AMD CPU，改为GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on" 然后根据下方提示按 Ctrl+x 再按 y 键和回车键存盘并退出。
pve_setup_grub.png (89.19 KB, 下载次数: 3)
2018-3-4 16:18 上传
之后执行
update-grub复制代码
pve_setup_update_grub.png (32.45 KB, 下载次数: 3)
2018-3-4 16:18 上传
增加需要的内核模块
执行
echo -e "vfio\nvfio_iommu_type1\nvfio_pci\nvfio_virqfd" >> /etc/modules复制代码然后重启即可
4.4.5 添加磁盘
通过节点的磁盘一项找到对应的设备名称，这里是 /dev/sdb 如果是NVMe设备，那么就是类似 /dev/nvme0n1 这种名字；
pve_setup_disks.png (51.48 KB, 下载次数: 4)
2018-3-4 16:18 上传
打开节点的命令行窗口；
执行
sgdisk -N 1 /dev/sdb复制代码
或者
sgdisk -N 1 /dev/nvme0n1复制代码
在新磁盘中创建分区；
执行
pvcreate -y -ff /dev/sdb1复制代码
或者
pvcreate -y -ff /dev/nvme0n1p1复制代码
创建LVM物理卷；
执行
vgcreate vmcache /dev/sdb1复制代码
或者
vgcreate vmcache /dev/nvme0n1p1复制代码
创建名为 vmcache 的LVM卷分组；
执行
lvcreate -L 400G -T -n cachepool vmcache复制代码
创建名为 cachepool 的大小为 400G 的LVM-thin存储池；
执行
pvesm add lvmthin cache-lvm --thinpool cachepool --vgname vmcache --content images,rootdir复制代码
创建名为 cache-lvm 的，用于存放虚拟机镜像和LXC容器的存储空间。
pve_setup_lvm.png (57.02 KB, 下载次数: 3)
2018-3-4 16:18 上传
4.4.6 UPS配置
这里以APC支持USB通信的UPS为例，其他型号配置请参考NUT的文档。
执行
lsusb复制代码
确认UPS已经通过USB连接上；
执行
apt install -y nut复制代码
pve_setup_apt_nut.png (149.75 KB, 下载次数: 3)
2018-3-4 16:18 上传
安装NUT；
执行
nano /etc/nut/ups.conf复制代码在最后添加：
driver = usbhid-ups
port = auto复制代码
pve_setup_nut_ups_conf.png (2.82 KB, 下载次数: 3)
2018-3-4 16:18 上传
之后按下方提示退出并保存。执行
upsdrvctl start复制代码
，如果 ups.conf 没有问题的话，会显示驱动版本号并回到命令提示符。如果反复显示 Driver failed to start 那么就是配置有问题或者UPS不支持，按 Ctrl+c 终止执行。
pve_nut_ups_test.png (10.19 KB, 下载次数: 3)
2018-3-4 16:18 上传
执行
nano /etc/nut/upsd.conf复制代码
pve_setup_nut_upsd_conf.png (33.05 KB, 下载次数: 3)
2018-3-4 16:18 上传
找到 # LISTEN 127.0.0.1 3493 这样一行，去掉前面的 # ，然后按下方提示退出并保存；
执行
nano /etc/nut/upsd.users复制代码
在最后添加：
[upsmon]
password = blahblah
upsmon master复制代码
pve_setup_nut_upsd_users.png (22.36 KB, 下载次数: 3)
2018-3-4 16:18 上传
之后按下方提示退出并保存；
执行
nano /etc/nut/upsmon.conf复制代码
找到 # RUN_AS_USER nut 删除前面的 #。找到# MONITOR [email protected] 1 upsmon pass master (or slave) 在下面一行添加MONITOR [email protected] 1 upsmon blahblah master 。然后按下方提示退出并保存。
pve_setup_nut_upsmon_conf.png (48.51 KB, 下载次数: 3)
2018-3-4 16:18 上传
pve_setup_nut_upsmon_conf_1.png (34.97 KB, 下载次数: 3)
2018-3-4 16:18 上传
执行
nano /etc/nut/nut.conf复制代码
pve_setup_nut_nut_conf.png (18.05 KB, 下载次数: 3)
2018-3-4 16:18 上传
把 MODE=none 替换为MODE=standalone 。然后按下方提示退出并保存。
执行
systemctl start nut-server复制代码；
执行ups.conf 和 upsd.conf 都没问题就会显示相应的UPS信息，否则请修改配置文件。
pve_setup_nut_upsc.png (44.89 KB, 下载次数: 4)
2018-3-4 16:18 上传
4.5 操作系统
4.5.1 FreeNAS
安装
首先从 http://www.freenas.org/download 下载最新版的FreeNAS，目前最新版是11.1-U2。
然后在虚拟机环境的Web管理界面找到名为 local 的存储，点击上传按钮，上传内容选择 ISO image，文件选中刚才下载好的文件，开始上传。
pve_upload_iso.png (52.74 KB, 下载次数: 3)
2018-3-4 17:57 上传
然后开始创建FreeNAS的虚拟机，名字填freenas。
pve_vm_freenas.png (29.98 KB, 下载次数: 3)
2018-3-4 17:57 上传
这里ISO 映像选刚才上传好ISO文件，类型选 Other 。
pve_vm_freenas_cdrom.png (40.16 KB, 下载次数: 3)
2018-3-4 17:57 上传
硬盘设置里面总线/设备选 SCSI ，存储选 local-lvm ，磁盘大小16G就够了。
pve_vm_freenas_disk.png (42.53 KB, 下载次数: 4)
2018-3-4 17:57 上传
然后CPU核心数根据实际情况选填，一般4就可以了，我这里填成8。
pve_vm_freenas_cpu.png (31.38 KB, 下载次数: 3)
2018-3-4 17:57 上传
内存大小填65536，也就是64G。
pve_vm_freenas_memory.png (39.97 KB, 下载次数: 4)
2018-3-4 17:57 上传
网络设置使用桥接模式，网桥选之前建立的 vmbr0 。网卡型号更换成 VirtIO 以达到最高性能。
pve_vm_freenas_nic.png (45.13 KB, 下载次数: 3)
2018-3-4 17:57 上传
确定全部配置正确之后就可以创建虚拟机了。
pve_vm_freenas_review.png (42.02 KB, 下载次数: 3)
2018-3-4 17:57 上传
之后进入虚拟机的硬件设置，先把显示从默认改为 SPICE 。
pve_vm_freenas_display.png (5.78 KB, 下载次数: 3)
2018-3-4 17:57 上传
然后添加用于节点内部通信的基于vmbr1 的网卡，网卡型号仍然使用 VirtIO 。
pve_vm_freenas_nic1.png (34.3 KB, 下载次数: 3)
2018-3-4 17:57 上传
然后进入选项设置，把BIOS从 默认(SeaBIOS) 改为 OVMF(UEFI) 。
pve_vm_freenas_bios.png (9.71 KB, 下载次数: 4)
2018-3-4 17:57 上传
然后回到硬件设置，添加一个 EFI Disk ，存储位置 local-lvm 。
pve_vm_freenas_efi_disk.png (9.59 KB, 下载次数: 3)
2018-3-4 17:57 上传
之后回到节点的Shell界面，在里面执行
lspci复制代码
找到需要由FreeNAS直接控制的设备，我这里是一个NVMe的SSD，一个万兆网卡，和LSI的9211-8i接口卡。记下他们的所在行最前面的数字ID，这里分别是 01:00.0 、 03:00.1 和 05:00.0( 03:00.0 准备用在提供上层服务的ubuntu server上面)。
pve_vm_lspci.png (51.22 KB, 下载次数: 4)
2018-3-4 17:57 上传
然后在节点的Shell里面执行
nano /etc/pve/qem-server/100.conf复制代码
编辑FreeNAS虚拟机的配置文件。在里面添加如下内容：
hostpci0: 05:00.0
hostpci1: 03:00.1
hostpci2: 01:00.0复制代码
这样这些设备就会在启动后由FreeNAS直接控制。
pve_vm_freenas_conf.png (40.85 KB, 下载次数: 3)
2018-3-4 17:57 上传
最后检查一下硬件设置
pve_vm_freenas_hw.png (64.22 KB, 下载次数: 3)
2018-3-4 17:57 上传
选项设置
pve_vm_freenas_options.png (70.12 KB, 下载次数: 4)
2018-3-4 17:57 上传
然后点击 启动 就可以开始安装FreeNAS了，点击控制台进入操作界面。安装过程非常简单，这个大家可以在网上搜索教程，我就不特意写了。
网络配置
登录之后默认会开启向导，直接退出即可。
freenas_setup_localization.png (9.77 KB, 下载次数: 3)
2018-3-4 21:09 上传
先进入系统->常规里面更改语言选项。
freenas_setup_system.png (165.65 KB, 下载次数: 3)
2018-3-4 21:09 上传
然后在网络->网络接口->添加网络接口里面给各个网卡添加对应的IP地址，推荐写成固定的，避免DHCP服务器重启或者宕机时候影响整个系统。
freenas_setup_vtnet0.png (43.93 KB, 下载次数: 4)
2018-3-4 21:09 上传
推荐WebUI跑在独立VLAN上，减少安全风险。
使用网络->VLAN->添加VLAN给对应网卡添加VLAN。
freenas_setup_vlan50.png (14.54 KB, 下载次数: 3)
2018-3-4 21:09 上传
然后使用网络->网络接口->添加网络接口给新添加的VLAN指定IP地址。
freenas_setup_vlan50_ip.png (44.49 KB, 下载次数: 3)
2018-3-4 21:09 上传
最后在系统->常规里面，把WebGUI使用的IP地址修改成VLAN所在地址。
ZFS配置
使用存储器->卷->卷管理器创建新的存储池，对于小规模的NAS，推荐使用RaidZx形式。尤其是桌面/NAS硬盘，出于对数据安全的考虑y，超过4盘之后推荐使用RaidZ2以上的阵列形式。可以把额外的SSD作为读缓存(L2ARC)使用，以此做到对常用数据的快速访问。
注意，由于ZFS的工作原理，对于家庭应用，不推荐给阵列使用写缓存(ZIL)。
freenas_setup_base.png (54.21 KB, 下载次数: 4)
2018-3-4 21:09 上传
我的NAS最后的结构是一个使用6盘的RaidZ2+500G NVMe SSD的读缓存的主阵列 base。
freenas_setup_base_zpool.png (37.38 KB, 下载次数: 3)
2018-3-4 21:09 上传
一个使用双盘互为镜像的备份阵列 backup。
freenas_setup_backup_zpool.png (29.84 KB, 下载次数: 4)
2018-3-4 21:09 上传
SMB共享
SMB共享也就是Windows共享，由于不管是Linux、OSX、Windows还是手机，都对它有很好支持，
所以一般在家庭中作为主要共享方式使用。
使用存储器->卷->/mnt/base->创建数据集来创建共享所用的数据集，我这里有一个用于存放软件、游戏、文档之类的Public，一个用于存放多媒体文件的Multimedia，和一个用于存放用户数据的users。共享类型全部为windows。
然后使用共享->Windows(SMB)共享列表->添加Windows(SMB)共享来给每个数据集创建对应的SMB共享。
注意users要勾选用作主目录共享。这样会给每个用户在访问SMB的时候都会有一个专属于自己的共享目录。
然后使用账户->所有用户->添加用户来添加可以登陆的用户。
之后就可以使用任意一个地址和用户名/密码访问SMB共享目录了。
NFS共享
NFS主要用于Unix主机访问，性能要好于SMB，但是兼容性较差。我这里主要用于存储docker、sage和一个Linux桌面系统的数据。
还是先用存储器->卷->/mnt/base->创建数据集来创建NFS所用的数据集，注意这里共享类型要选成UNIX。
使用共享->Unix(NFS)共享列表->添加Unix(NFS)对象来创建NFS共享。
注意，对于需要支持root用户的NFS共享来说，由于FreeNAS和Linux的root不太一样，需要把高级模式里的Maproot用户设为root，Maproot组设为wheel。另外NFS是根据uid和gid来分配权限的，所以使用同一个NFS的不同主机，相同的用户需要有相同uid和gid。
iSCSI共享
和其他共享方式不一样，iSCSI是把存储作为块设备共享出去的。在使用iSCSI的系统中，iSCSI是作为一个类似硬盘的设备来使用的。所以iSCSI有着最高的性能，但是跨系统的兼容性也最差。比较适合给各种设备提供中心化的硬盘，比如家里的游戏电脑和HTPC，完全可以就装一个用来启动系统的小容量ssd，然后使用万兆网和iSCSI共享来为这些设备提供大容量存储，这样每个设备都有相当于有了一个大容量/高可靠性/高性能的ZFS阵列，减少了很多维护上的复杂性，设备也不用再考虑硬盘位的问题。
为了达到最高性能，iSCSI需要的在存储中建立zvol，使用存储器->卷->/mnt/base->创建zvol来完成。如果不是对性能有特别极端的需求，可以勾选松散卷一项，这样会根据实际使用情况来分配占用的存储空间。可以更有效的利用存储。
freenas_setup_iscsi_zvol.png (42.43 KB, 下载次数: 3)
2018-3-4 21:09 上传
iSCSI中有几个特别的名词，Initiator就相当于其他共享协议中的客户端，Target相当于一个共享对象，Portal是用来进行用户授权和列出所有可用Target的服务。所以一个简单的iSCSI共享需要至少一个Portal和至少一个Target，以及一个Initiator组用来确定可连接的设备。
使用共享->阻止(iSCSI)->Initiator->添加Initiator，来添加新的基于IP地址和名称的对iSCSI客户端的认证。
freenas_setup_iscsi_initiator.png (24.04 KB, 下载次数: 3)
2018-3-4 21:09 上传
然后使用共享->阻止(iSCSI)->Portals->添加Portal，来创建新的Portal。
之后使用共享->阻止(iSCSI)->Target->添加Target，来创建新的Target，Portal组ID和Initiator组ID分别使用刚才创建的两个。
freenas_setup_iscsi_target.png (31.4 KB, 下载次数: 3)
2018-3-4 21:09 上传
然后使用共享->阻止(iSCSI)->Extent->添加Extent，来创建新的Extent，Extent类型选设备，设备选刚才创建好的zvol共享。
freenas_setup_iscsi_extent.png (46.2 KB, 下载次数: 4)
2018-3-4 21:09 上传
最后用共享->阻止(iSCSI)->Target/Extent->添加Target/Extent来把Target和刚刚创建的Extent关联起来。
freenas_setup_iscsi_target_extent.png (9.89 KB, 下载次数: 4)
2018-3-4 21:09 上传
需要更灵活权限控制的情况下，可以使用共享->授权访问->添加授权访问来创建新的认证规则，然后把Portal的发现认证组以及Target的认证组编号设为对应的认证规则，Target的认证方式根据实际情况选择。
freenas_setup_iscsi_auth.png (23 KB, 下载次数: 3)
2018-3-4 21:09 上传
维护任务
待完善
4.5.2 Ubuntu Server
安装
网络配置
挂载FreeNAS共享
4.6 应用
4.6.1 Docker
安装
Aria2
NextCloud
Onlyoffice整合
Draw.io整合
Plex
Ubnt Network Manage System
Home Assistance4.6.2 Sage
4.6.3 Ubnt UniFi Contoller
