Homelab 改造小记

最近对 HomelyCloud 家里云服务器硬件和网络上进行了一些调整，用这篇文章记录一下。

「家里云」服务器

现状

硬件

目前 HomelyCloud 「家里云」 的 Server 是一台 All in One 的设备，使用 PVE 虚拟化众多 VM/LXC，维持这个状态大约运行了两年的时间。

两年前最初搭建的时候是选择了一台 2U 的 DELL PowerEdge R730XD，不得不说捡来的服务器性价比真的非常高，千元不到的价格可以获得一台 12+2/4/6 盘位、带阵列卡、X99 芯片组、24 个内存插槽、双 750W 铂金电源、双 U 双散、双千双万网卡的专业级设备，并且具备 7 条可拆分的 PCIE 插槽，扩展性拉满。另外非常重要的是拥有硬件级的 iDRAC，可以通过 Web 界面远程管理服务器，包括监控系统运行状态，调整阵列卡、风扇设置，安装系统，设置 BIOS 等操作，可以说除了进行硬件调整需要实际操作服务器之外，其他软件维护全部可以独立的通过 iDRAC 完成。

这台设备服役了大约一年时间，还为它选购了一台 600×600×1000 (深) 的机柜，配闲鱼捡来的原装导轨，和一台 HUAWEI S1720-28GWR-4X 的万兆交换机。性价比拉满的同时还是有一些缺点的，最大的问题是服务器机箱一般都比较长，所以机柜选到了 1 米深，在中间一次搬家之后确实是没有合适的地方放这个大家伙了。另外就是风扇噪音较大，不过可以通过降低风扇转速或者更换风扇解决，其实问题还好。至于耗电问题，这台设备极高的性价比省下的钱足以 Cover 掉这部分的电费支出。

搬家之后没地方放设备了，就花了一段时间来选购新的设备，最终选择的配置大致如下，大约花费约 4500 元 (相比起 R730XD 是真的贵)，然后选择了一台图腾的 G26622 22U 的机柜来当设备的新家。

这一套设备用下来，基本体验还可以，最大的优点是更省地、更静音、有一些省电，但是相比服务器来说，也有一些不足。

首先是没有了 iDRAC，导致每次进行一些维护调整的时候，需要搬出机箱接上显示器调试，非常麻烦，也不能直观方便地查看整机状态；机箱方面，御夫座没有采用盘架的设计，需要拆掉前面板和螺丝进行加减硬盘，比较不便，也不方便热插拔，好在加硬盘的时候不算太多，勉强可以接受；最大的问题还是铭瑄这块主板问题，我购买的这块板子在长时间运行之后会出现无法关机的情况 (PVE 选择关机后，实际会自动重启)；而手动关机调整完硬件之后又会出现无法开机的问题，表现为上电之后显示卡无任何输出、硬盘听不到上电运行声，在大约几秒后自动重启，并如此反复。这个问题困扰了我三次，第一次经过一番尝试之后通过按动主板的 CMOS CLEAR 重置掉 BIOS 之后解决，第二次由于间隔了半年忘了这茬，又折腾半天，重置了 CMOS 解决，第三次终于记得了，直接上手重置。重置后问题倒是能解决，但是 CPU 虚拟化、IOMMU、内存频率、风扇等一堆设置都需要调整，非常令人头大，这导致我严重怀疑这块主板在断电后到底能否能够成功开机😡，好在国网的电力供应还是比较稳定的，最近一年里一次 UPS 都没有触发。

软件

目前这台设备上承载的服务主要有：

• AdGuardHome@LXC，内网 DNS 解析服务
• Ingress@LXC，部署 Caddy 承载反向代理流量，统一 Web 流量入口
• ServicesNode@LXC，部署一系列的 Docker 服务
• PostgreSQL@LXC，主要使用的数据库
• MySQL@LXC，数据库，为少数不支持 PostgreSQL 的应用准备
• Gateway@VM，部署 mihomo
• DSM@VM，黑群晖的虚拟机，目前大约有 50TiB 左右的空间，还提供家庭媒体库服务
• HomeAssistant@VM，部署 HAOS，智能家居中枢
• WinGame@VM，运行 Windows，运行安卓模拟器进行手游~~(碧蓝航线)~~ 挂机
• Windows10@VM，运行 Windows，部署少数必须在 Windows 环境下运行的服务
• Workstation@VM，偶尔处理工作的虚拟机，需要安装公司的一系列监控和 VPN 软件，因此需要进行一些环境隔离
• DevBox@VM，折腾测试用的虚拟机节点

机器的系统盘使用了一块 128G 的 SSD，主要存储由一块 4T 的企业级 SSD 承载，使用 Directory 形式提供给 PVE 使用，目前的话这块硬盘使用率并不高，同时还虚拟了一块磁盘给群晖当做数据盘。

可以看出这台机器承载了比较多的服务，但是 All in One 的结构实质上非常脆弱，特别是存储服务 (DSM) 是在其中的一台虚拟机上，这导致 PVE 比较难实现一些备份操作。对 PVE 进行维护和调整设置需要重启的时候也需要关闭所有服务，非常的不方便。

升级改造

出于以上各种因素的考虑，准备进行一下 “存算分离” 的改造升级，把存储作为一台机器拆分开来，另一台机器用作 “计算” 运行现有的除存储之外的服务。现有的 NAS 机箱御夫座给到存储设备，而 12100 的板 U 给到计算设备，因此需要购入一些新的硬件，例如存储设备的板 U、电源、内存、散热以及计算设备的机箱。

存储设备考虑到扩展性和性价比，没有选择最近比较火的 N100/N150，而是选择了较为经典~~(古老)~~ 的 8100T，主板选择了华擎的 Z370m Pro4，这块主板提供了 6 个 SATA 接口、2 条 M.2 插槽、4 条 PCIE (2 PCIe 3.0 x16 + 2 PCIe 3.0 x1)，扩展性极强，并且 x16 支持拆分为 x8+x4+x4，堪称一张 NAS 小神板。不过由于没有 2.5G 网卡，所以为它又增加了一张 8125B 的网卡。

计算设备的机箱从淘宝买了一个 2U 的机箱，方便上架，最初看了银欣和勤诚的机箱，做工感觉非常不错，但是价格属实是有些高，最后还是没有选择。电源方面用了艾湃电竞的一个 650W 金牌电源，散热由于机箱限高 63mm，还是选用了之前的 AXP90，压 121 应该还是绰绰有余的。

由于做了拆分，之前的 3.2T 的 SN630 固态硬盘继续留给了 PVE，存储这边需要补充一块固态硬盘。最近一段时间固态涨价实在是太猛了，一番调研后，选择了大普微的 R5101 3.84T 企业级 SSD，花费 1400 元购入，主要看中他的稳定性，性能方面本来也是 PCIE4.0 较为顶级的表现，但是我的 NAS 主板只支持 PCIE3.0，所以这部分也就不做过多追求了。R5101 是 U.2 接口的 SSD，因此需要购入一张转接卡，选择了 ADT 的 PCIE 5.0 转接卡，看测评他在 PCIE5.0 下的表现还不错，由于我降级到 PCIE3.0 使用，完全是绰绰有余了。

经过一番选购，目前的硬件大约是这样的：

存储

计算

网络

现状

网络部分这次也一并做一些小的改造。在家里云初步搭建时，架构基本上是这样的：

• 主路由：双千兆 3215U 工控机，运行爱快
• AP：Redmi AX6S，原厂系统，有线 AP 模式
• 交换机：HUAWEI S1720-28GWR-4X，24 千兆口 + 4 光口

在设备方面，NAS 和 PC 均配置的是 2.5G+10G 的双网卡，理想情况下 NAS 和 PC 之间均使用 10G 连接。但是由于一些不知名原因，PC 上的这块 Mellanox CX4121A 网卡偶尔会出现断连的情况，因此无法将它作为唯一的网卡使用，而同时使用 2.5G+10G 网卡并配置接口跃点来提高 10G 网卡的优先级也常常不生效。

升级改造

考虑到只有两台设备需要 10G 高速连接，并且目前许多主板都搭载了 2.5G 的网卡，目前 1G 的交换机并不能很好的利用这部分性能。因此考虑使用一个 2.5G 交换机替换掉现在的 10G 交换机。而 NAS 和 PC 之间直接使用光纤对连，实现稳定的 10G 连接，也省去了多网卡优先级和静态路由等配置的麻烦。

在几个月前，学习了 Sukka 的组网方案后，出于颜值考虑我已经使用 Unifi UCG Ultra 替换了主路由，使用 Unifi U7 Pro 替换了 AP。

在交换机的选择方面，我花费 410 元购入了兮客 SKS3200-8E1X-P，具备 8 个 2.5G POE+ 网口和一个 10G SFP+ 光口的二层管理交换机，并给还新增了一个支持 POE 受电的 Unifi Switch Flex Mini 用于连接一些智能家居设备，方便管理 VLAN TAG。

为了理线方便和机柜的整洁，还购入了 Unifi UACC Rack Panel，由于原装模块价格过高，选择了 LINKWAY 的 CAT6A 直通模块作为替代，完美兼容。交换机连接跳线使用了日线的 CAT6 线缆，在淘宝机房重地定制了 12 条 0.15 米的跳线，收到后发现每条线都有独立包装和水晶头保护壳，好评。

至于 USG Ultra 和 USW Flex mini 的上架问题，我刚好在 618 购入了拓竹的 P1SC 3D 打印机，在 MakerWorld 上找到了 Mauker 为 Unifi 的多个设备设计的 19 英寸模块化的支架，使用白色 PETG 料打印后喷金属漆，上架之后效果意外的棒。

总结

本次家里云的升级改造总花费约 4300 元，除去硬盘的话大约 2900 元。其中 NAS 占了 2000 元，计算设备占了 800 元，网络部分占了 1500 元。

本次改造完成后，最大的收益是机柜颜值有了提升，由于分离了计算和存储设备，两边都可以独立维护，并且方便后续通过 Proxmox Backup Server 把 PVE 备份到 NAS 上。

接下来还要找时间完成备份方案的搭建、网络 VLAN 的划分调整和对现有服务的 K3S 化改造，等完成后再分别记录下（希望如此）。