ESXi重装遇NSX与Zerto故障的排查与修复-平芜编程栈

1. 事故现场还原：当ESXi重装遇上NSX和Zerto同时罢工

那天凌晨2点15分，我正执行一次常规的ESXi主机重装操作。按照标准流程，我已经完成了以下准备工作：

备份所有虚拟机配置文件（.vmx和.vmdk）
确认vCenter Server上有完整的NSX和Zerto配置备份
准备相同版本的ESXi 7.0 U3安装镜像

但在安装程序完成后的首次启动时，控制台突然连续弹出三条红色告警：

Module 'nsx-net' failed to load VIB nsx-libs requires vibacceptancelevel=CommunitySupported ZertoVRA service in degraded state

更棘手的是，通过SSH连接后执行esxcli software vib list | grep -E 'nsx|zerto'显示这两个组件的VIB包状态全部标记为(Corrupted)。此时主机虽然能运行基础虚拟机，但NSX分布式防火墙规则全部失效，Zerto的复制链路也显示断开状态。

2. 故障根因分析：VIB依赖地狱与签名验证冲突

2.1 NSX组件的社区签名困境

通过分析/var/log/vmkernel.log发现关键线索：

2023-08-20T02:18:47.123Z cpu3:2097632)VIB nsx-libs requires acceptance level CommunitySupported, but host is set to VMwareCertified

这是典型的签名级别冲突。NSX 3.2之后的部分驱动以社区签名模式发布，而企业环境通常设置/etc/vmware/esx.conf中的/system/acceptanceLevel为更严格的VMwareCertified。重装ESXi时会重置这个配置，导致签名验证失败。

2.2 Zerto VRA的依赖断裂

Zerto的Virtual Replication Appliance（VRA）依赖特定版本的OpenVM Tools。在ESXi重装过程中，默认会更新这些基础工具，导致版本不匹配。查看Zerto日志可见：

/lib64/libzertovmtools.so: undefined symbol: GuestInfo_GetPrimaryIP

3. 抢救操作全记录：从强制卸载到安全恢复

3.1 强制移除损坏的VIB包

首先进入ESXi维护模式，执行强制卸载：

esxcli software vib remove --force --vibname=nsx-net esxcli software vib remove --vibname=zerto-vra

遇到"VIB is in use"报错时，需要先解除组件注册：

esxcli system module set -e=false -m=nsx_net esxcli system module set -e=false -m=zerto_vra

3.2 重建软件仓库信任链

临时降低签名验证级别（操作后必须恢复！）：

esxcli software acceptance set --level=CommunitySupported

然后重新安装NSX组件：

esxcli software vib install -v /tmp/nsx-libs.vib --no-sig-check

3.3 Zerto的特殊处理步骤

先安装指定版本的OpenVM Tools：

esxcli software vib install -v /tmp/open-vm-tools-11.3.5-18557794.vib

重新注册VRA服务：

/etc/init.d/zertovra restart --reconfigure

4. 关键避坑指南：重装ESXi前的五项必查清单

签名级别预验证
执行esxcli software acceptance get确认当前级别，与NSX/Zerto文档要求比对。建议在重装前记录原主机配置：
```
grep acceptanceLevel /etc/vmware/esx.conf
```
依赖关系图谱
使用esxcli software vib get -n nsx-net查看所有依赖项，提前下载对应版本：
```
esxcli software sources vib list -d /vmfs/volumes/datastore1/offline-bundle.zip
```
服务停摆预案
对于Zerto这类持续服务，建议操作前：
- 在Zerto管理界面暂停复制任务
- 执行zcli maintenance start --timeout 3600

安全回滚准备
创建可引导的ESXi备份镜像：

esxcli system settings advanced set -o /Net/FollowHardwareMac -i 1 vmkfstools --createvirtualdisk /tmp/esxi-boot.vmdk --size 4G

日志收集捷径
配置串行端口日志重定向，即使网络中断也能调试：
```
esxcli system serialPort connect -p ttyS0
```

5. 长效预防方案：构建ESXi生命周期管理框架

5.1 定制化ESXi镜像构建

使用Image Builder创建包含必要驱动的镜像：

Add-EsxSoftwareDepot .\VMware-ESXi-7.0U3c-19193900-depot.zip Add-EsxSoftwareDepot .\nsx-libs-3.2.0.1-offline_bundle.zip New-EsxImageProfile -CloneProfile "ESXi-7.0U3c-19193900-standard" -Name "Custom-NSX-Zerto"

5.2 自动化合规检查脚本

部署预启动检查脚本（示例片段）：

#!/bin/sh NSX_VER=$(esxcli software vib get -n nsx-net | grep Version | awk '{print $2}') if [ "$NSX_VER" != "3.2.0.1" ]; then logger -p user.warning "NSX version mismatch detected" exit 1 fi