在Dell R720xd服务器上实现Tesla P100显卡直通的终极指南
当企业需要将老旧服务器重新投入高性能计算场景时，如何充分利用现有硬件资源成为关键挑战。本文将详细介绍在Dell R720xd服务器上，通过ESXi虚拟化平台为Ubuntu 18.04 LTS虚拟机配置Tesla P100显卡直通的完整流程，涵盖从BIOS设置到驱动安装的每个关键环节。
1. 硬件准备与BIOS配置
Dell R720xd作为一款经典的2U机架式服务器，其PCIe扩展能力使其成为部署GPU计算卡的理想选择。但在开始前，我们需要确保硬件环境准备就绪。
关键硬件检查清单：
- 确认服务器已安装Tesla P100显卡（建议安装在PCIe x16插槽）
- 检查电源功率是否满足GPU额外供电需求（P100典型TDP为250W）
- 确保服务器固件已升级至最新版本（建议使用Dell EMC Repository Manager更新）
在BIOS设置中，以下几个选项对GPU直通至关重要：
| BIOS选项 | 推荐设置 | 作用说明 |
|---|---|---|
| Above 4G Decoding | Enabled | 允许系统访问4GB以上的PCIe设备内存空间 |
| Memory Mapped I/O above 4GB | Enabled | 为GPU显存提供足够的MMIO空间 |
| PCI 64-bit Resource Handling | Enabled | 确保完整识别GPU的64位内存地址 |
| SR-IOV | Disabled | 避免与直通功能冲突 |
| VT-d | Enabled | 必须开启的虚拟化直通技术支持 |
注意：部分R720xd机型可能缺少"Above 4G Decoding"选项，这通常意味着该功能已默认启用或硬件不支持。如遇此情况，可继续后续步骤，但可能限制可直通的GPU数量。
2. ESXi主机层配置
在vSphere 7.0环境中，正确配置PCIe直通是成功的关键。首先登录ESXi主机管理界面，完成以下操作：
启用PCI设备直通：
# 查看可用PCI设备 esxcli hardware pci list | grep -i nvidia # 将GPU标记为直通设备 esxcli hardware pci passthrough set -d 0000:03:00.0 -e on其中
0000:03:00.0需替换为实际的GPU设备地址。配置高级参数： 编辑ESXi主机的
/etc/vmware/esx.conf文件，添加以下内容：/device/0000:03:00.0/owner = "passthru" /device/0000:03:00.0/deviceType = "pci"重启ESXi主机使配置生效：
reboot
3. 虚拟机创建与特殊配置
创建专为GPU计算优化的Ubuntu 18.04 LTS虚拟机时，以下几个设置至关重要：
3.1 虚拟机基础配置
- 操作系统类型：选择"Linux" → "Ubuntu Linux (64位)"
- 固件类型：必须选择EFI而非BIOS
- 虚拟硬件版本：建议使用15或更高版本
- CPU核心数：根据GPU计算需求配置（建议至少8核）
- 内存容量：不少于32GB（需考虑GPU显存占用）
3.2 关键高级参数
在虚拟机.vmx配置文件中添加以下参数：
pciPassthru.use64bitMMIO = "TRUE" pciPassthru.64bitMMIOSizeGB = "32" hypervisor.cpuid.v0 = "FALSE"MMIO大小计算公式：
所需值 = 向上取整到2的幂(GPU数量 × 单卡显存GB)例如：
- 1×P100(16GB)：16 → 32GB
- 2×P100(16GB)：32 → 64GB
- 1×V100(32GB)：32 → 64GB
3.3 内存与CPU预留
- 内存预留：勾选"预留所有客户机内存"
- CPU关联性：建议禁用CPU热插拔
- NUMA配置：如服务器支持，确保GPU与CPU在同一NUMA节点
4. Ubuntu系统内驱动安装
完成虚拟机创建后，启动Ubuntu 18.04 LTS安装过程。系统安装完成后，执行以下步骤配置GPU驱动：
验证GPU识别：
lspci -nn | grep -i nvidia正常应显示类似输出：
03:00.0 3D controller [0302]: NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB] [10de:15f8] (rev a1)安装依赖项：
sudo apt update sudo apt install -y build-essential dkms linux-headers-$(uname -r)禁用Nouveau驱动： 创建
/etc/modprobe.d/blacklist-nouveau.conf文件，内容为：blacklist nouveau options nouveau modeset=0然后更新initramfs：
sudo update-initramfs -u安装官方驱动：
# 添加官方PPA源 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 安装推荐版本驱动（以470系列为例） sudo apt install -y nvidia-driver-470验证安装：
nvidia-smi成功输出应显示GPU状态、驱动版本和CUDA兼容信息。
5. 性能优化与故障排除
为确保GPU直通后的最佳性能，还需要进行以下优化：
性能调优参数：
# 启用持久模式 sudo nvidia-smi -pm 1 # 设置应用时钟为最大 sudo nvidia-smi -ac 715,1189常见问题解决方案：
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
| "no devices were found" | 驱动未正确识别GPU | 检查PCI直通状态和MMIO设置 |
| 虚拟机启动失败 | MMIO大小不足 | 增加pciPassthru.64bitMMIOSizeGB值 |
| 性能低下 | 内存未完全预留 | 确保勾选"预留所有客户机内存" |
| 驱动加载失败 | Nouveau冲突 | 确认Nouveau驱动已禁用 |
对于需要多GPU并行的场景，建议在ESXi中为每个GPU创建单独的虚拟机，而非尝试在单个虚拟机中直通多块GPU，这能避免老旧平台上的PCIe资源分配问题。
