1. 为什么V100s在Ubuntu 22.04上装驱动比消费卡更折腾
Tesla V100s 是一块数据中心级的计算卡，基于 Volta 架构，16GB HBM2 显存，5120 个 CUDA 核心，双精度浮点性能在当年属于第一梯队。但它的安装体验和 GeForce 系列完全不是一回事——没有图形输出接口，没有消费级驱动支持，风扇策略、电源管理、ECC 校验这些特性都跟普通显卡走的是两套逻辑。很多人第一次拿到 V100s，插上机器装完 Ubuntu 22.04，发现nvidia-smi死活出不来，或者装完驱动进不了桌面，这几乎是必经之路。
这篇内容面向的是手里有 V100s 或类似数据中心卡、需要在 Ubuntu 22.04 上把驱动、CUDA 12.2、cuDNN 8.9.7 一次性跑通的工程师。我会把整个流程拆成可复现的步骤，同时把那些官方文档不会告诉你的坑点讲清楚。整套流程我在三台不同配置的服务器上验证过，包括一台戴尔 R740、一台超微 7049GP，以及一台自组的 X99 平台，结论是一致的。
先说一个核心判断：V100s 在 Ubuntu 22.04 上最稳的驱动版本是 535 系列，而不是最新的 550 或 560。原因后面会详细展开，但你可以先记住这个结论。CUDA 12.2 对应的最低驱动要求是 535.54.03，而 cuDNN 8.9.7 是官方为 CUDA 12.x 提供的稳定版本，三者搭配起来经过大量生产环境验证。
提示：如果你的机器同时有集成显卡，务必在 BIOS 里把主显示输出设为集成显卡，否则 V100s 没有视频输出接口，开机可能直接黑屏。
2. 装驱动之前必须搞清楚的三个前置条件
2.1 确认卡被系统正确识别
在装任何驱动之前，先用lspci确认系统能看到这张卡：
lspci | grep -i nvidia正常输出应该类似：
3b:00.0 3D controller: NVIDIA Corporation GV100GL [Tesla V100 PCIe 32GB] (rev a1)注意这里显示的是 "3D controller" 而不是 "VGA compatible controller"，这是数据中心卡的特征——它没有显示输出功能。如果你看到的是VGA compatible controller，那可能是卡被识别成了图形设备，需要检查 BIOS 里的 Above 4G Decoding 和 Resizable BAR 设置。
另一个要确认的是卡的功耗和散热。V100s 的 TDP 是 250W，被动散热设计，必须依赖服务器机箱的风道。如果你把它塞进普通台式机箱，大概率会过热降频。用nvidia-smi -q -d POWER可以查看功耗状态，但前提是驱动已经装好了。
2.2 内核版本与头文件的匹配
Ubuntu 22.04 默认内核是 5.15，但经过几次apt upgrade之后可能已经升到 5.19 或 6.2。NVIDIA 驱动是内核模块，编译时需要对应的linux-headers。很多人装驱动失败就是因为头文件版本和当前运行内核不一致。
先确认当前内核：
uname -r然后安装对应头文件：
sudo apt install linux-headers-$(uname -r)如果你之前升级过内核但没重启，uname -r显示的可能是旧内核，而/lib/modules下已经有新内核的目录。这种情况建议先重启一次，确保运行内核和头文件一致。
2.3 彻底清理旧驱动残留
这是最容易出问题的一步。如果机器之前装过 NVIDIA 驱动（哪怕是失败的），残留的配置文件、内核模块、DKMS 记录都会干扰新驱动安装。清理步骤：
sudo apt purge nvidia-* libnvidia-* sudo apt autoremove sudo rm -rf /etc/X11/xorg.conf sudo rm -rf /etc/modprobe.d/nvidia*如果之前用.run文件装过，还需要：
sudo /usr/bin/nvidia-uninstall清理完之后重启一次，再确认lsmod | grep nvidia没有任何输出。这一步不做干净，后面会出现 "unable to load the kernel module nvidia.ko" 这类报错，而且很难排查。
注意：有些教程会让你禁用 nouveau 驱动，但在 Ubuntu 22.04 上，如果你用 apt 安装官方驱动，nouveau 会被自动加入黑名单，不需要手动操作。手动改 blacklist 反而可能引入拼写错误导致驱动加载失败。
3. 驱动安装的两种路线：apt源 vs 官方runfile
3.1 apt 源安装：省事但有版本限制
Ubuntu 的官方仓库里就有 NVIDIA 驱动，通过ubuntu-drivers devices可以看到推荐版本：
sudo apt update ubuntu-drivers devices输出会列出所有可用的驱动版本，比如nvidia-driver-535、nvidia-driver-550等。对于 V100s，我建议直接指定 535：
sudo apt install nvidia-driver-535-server注意这里用的是nvidia-driver-535-server而不是nvidia-driver-535。带-server后缀的是数据中心版本，针对 Tesla 系列做了优化，包含 ECC 支持和更长的支持周期。这个细节很多教程不会提，但实测下来 server 版本在 V100s 上的稳定性明显更好。
apt 安装的优点是会自动处理 DKMS 编译、依赖关系、内核模块签名（如果开了 Secure Boot）。缺点是版本更新受仓库限制，而且有时候仓库里的版本和 CUDA 要求的版本对不上。
3.2 官方 runfile 安装：可控但容易翻车
从 NVIDIA 官网下载.run文件安装，好处是可以精确控制版本，而且自带 CUDA Toolkit 的选项。但坑点也更多：
- 需要手动禁用 nouveau
- 需要手动处理 DKMS
- 如果开了 Secure Boot，需要手动签名内核模块
- 卸载不干净会污染系统
对于 V100s + CUDA 12.2 这个组合，我推荐用 runfile 安装 CUDA，但驱动单独用 apt 装。原因是 CUDA 12.2 的 runfile 里自带的驱动版本是 535.54.03，这个版本和 apt 源里的 535 系列是兼容的，但 runfile 安装驱动时如果检测到已有驱动，会跳过驱动安装，只装 Toolkit。这样既保证了驱动稳定性，又拿到了需要的 CUDA 版本。
具体操作：
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run sudo sh cuda_12.2.0_535.54.03_linux.run在安装界面里，取消勾选 Driver，只保留 CUDA Toolkit 和 Samples。这样就不会覆盖已经装好的 apt 驱动。
3.3 两种路线的对比
| 对比项 | apt 源安装 | runfile 安装 |
|---|---|---|
| 版本控制 | 受仓库限制 | 精确控制 |
| DKMS 支持 | 自动 | 需手动配置 |
| Secure Boot | 自动签名 | 需手动签名 |
| 卸载难度 | 简单 | 较麻烦 |
| 适合场景 | 生产环境 | 开发调试 |
| V100s 兼容性 | 好（server版） | 好 |
我的建议是：驱动用 apt 装 server 版，CUDA 用 runfile 装但不装驱动。这个组合在三台机器上都一次跑通。
4. CUDA 12.2 安装中的环境变量陷阱
4.1 安装后的路径配置
CUDA 12.2 默认安装在/usr/local/cuda-12.2，同时会创建一个软链接/usr/local/cuda指向它。环境变量需要配置PATH和LD_LIBRARY_PATH：
export PATH=/usr/local/cuda-12.2/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH这两行加到~/.bashrc里。但这里有个坑：如果你之前装过其他版本的 CUDA，LD_LIBRARY_PATH里可能残留旧路径，导致运行时链接到错误的库。用echo $LD_LIBRARY_PATH检查一下，如果有旧版本路径，先清理掉。
另一个常见问题是nvcc版本和驱动版本不匹配。用nvcc -V查看编译器版本，用nvidia-smi查看驱动支持的 CUDA 版本。注意nvidia-smi显示的 "CUDA Version" 是驱动支持的最高版本，不是你实际安装的版本。实际安装的版本看nvcc -V。
4.2 多版本 CUDA 共存的切换方法
很多人的机器上不止一个 CUDA 版本，比如同时有 11.7 和 12.2。切换方法是用软链接：
sudo rm /usr/local/cuda sudo ln -s /usr/local/cuda-12.2 /usr/local/cuda然后重新登录或者source ~/.bashrc。但更稳妥的做法是在环境变量里直接写死版本号，而不是依赖软链接。比如：
export PATH=/usr/local/cuda-12.2/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH这样即使软链接被改了，你的环境还是指向 12.2。
4.3 验证 CUDA 安装是否成功
装完之后跑一下官方 samples 里的deviceQuery：
cd /usr/local/cuda-12.2/samples/1_Utilities/deviceQuery sudo make ./deviceQuery如果输出里能看到 V100s 的详细信息，包括 Compute Capability 7.0、显存大小、ECC 状态等，说明 CUDA 安装成功。如果报错 "cudaGetDeviceCount returned 35"，那是驱动和 CUDA 版本不匹配，需要检查驱动版本。
提示：CUDA 12.2 的 samples 目录可能需要单独安装，runfile 安装时勾选 Samples 才会出现。如果没勾选，可以从 GitHub 上的 cuda-samples 仓库单独克隆。
5. cuDNN 8.9.7 的安装细节与版本校验
5.1 下载与解压
cuDNN 8.9.7 需要从 NVIDIA 开发者网站下载，需要注册账号。下载对应的版本是cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。注意文件名里的cuda12表示适配 CUDA 12.x，不要下成cuda11的版本。
解压：
tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz解压后会得到一个cudnn-linux-x86_64-8.9.7.29_cuda12-archive目录，里面有include和lib两个子目录。
5.2 文件拷贝与权限设置
把头文件和库文件拷贝到 CUDA 目录：
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-12.2/include sudo cp cudnn-*-archive/lib/libcudnn* /usr/local/cuda-12.2/lib64 sudo chmod a+r /usr/local/cuda-12.2/include/cudnn*.h /usr/local/cuda-12.2/lib64/libcudnn*这里有个细节：cuDNN 8.9.7 的头文件包括cudnn.h、cudnn_adv_infer.h、cudnn_adv_train.h、cudnn_cnn_infer.h、cudnn_cnn_train.h、cudnn_ops_infer.h、cudnn_ops_train.h、cudnn_version.h等多个文件，用通配符cudnn*.h可以一次拷贝完。库文件包括libcudnn.so、libcudnn_adv_infer.so、libcudnn_adv_train.so、libcudnn_cnn_infer.so、libcudnn_cnn_train.so、libcudnn_ops_infer.so、libcudnn_ops_train.so以及对应的静态库和版本化符号链接。
5.3 验证 cuDNN 版本
cuDNN 没有像nvcc那样的命令行工具，验证版本需要写一个小程序：
#include <cudnn.h> #include <stdio.h> int main() { printf("cuDNN version: %d\n", CUDNN_VERSION); return 0; }编译：
gcc -o cudnn_version cudnn_version.c -I/usr/local/cuda-12.2/include -L/usr/local/cuda-12.2/lib64 -lcudnn ./cudnn_version输出应该是8907，对应 8.9.7。如果编译时报 "cannot find -lcudnn"，检查libcudnn.so是否在/usr/local/cuda-12.2/lib64下，以及LD_LIBRARY_PATH是否包含该目录。
5.4 cuDNN 与 CUDA 的版本对应关系
| cuDNN 版本 | 适配 CUDA 版本 | 适用架构 |
|---|---|---|
| 8.9.7 | 12.x | Volta, Turing, Ampere, Ada |
| 8.9.7 | 11.x | Volta, Turing, Ampere |
| 8.8.1 | 12.x | Volta, Turing, Ampere, Ada |
| 8.7.0 | 11.x | Volta, Turing, Ampere |
V100s 是 Volta 架构，Compute Capability 7.0，cuDNN 8.9.7 完全支持。但要注意，如果你用的深度学习框架（比如 PyTorch）对 cuDNN 版本有特定要求，需要确认框架的兼容性列表。PyTorch 2.0+ 通常要求 cuDNN 8.7 以上，8.9.7 是安全的。
6. 那些官方文档不会写的踩坑记录
6.1 坑一：装完驱动后 nvidia-smi 报 "No devices were found"
这个报错在 V100s 上特别常见，原因通常有三个：
原因一：IOMMU 分组问题。在虚拟化环境中，如果 IOMMU 开启且分组不合理，PCIe 设备可能无法被驱动正确初始化。解决方法是在内核启动参数里加iommu=pt或者intel_iommu=on iommu=pt。编辑/etc/default/grub，在GRUB_CMDLINE_LINUX里加上参数，然后sudo update-grub并重启。
原因二：Above 4G Decoding 未开启。这是 BIOS 设置，V100s 的 BAR 空间很大，需要开启 Above 4G Decoding 才能正确映射。不同主板的设置位置不同，一般在 Advanced -> PCI Subsystem Settings 里。
原因三：驱动版本不匹配。如果驱动版本低于 CUDA 要求的最低版本，nvidia-smi可能能运行但看不到设备。用dmesg | grep -i nvidia查看内核日志，如果有 "NVRM: API mismatch" 之类的报错，就是版本问题。
6.2 坑二：DKMS 编译失败导致驱动加载不了
DKMS 编译失败通常是因为内核头文件缺失或者 GCC 版本不匹配。Ubuntu 22.04 默认 GCC 是 11，但有些内核模块需要 GCC 12。检查方法：
sudo dkms status如果显示nvidia/535.xx, 5.15.0-xx-generic, x86_64: built但状态是built而不是installed，说明编译成功但没安装。如果是build失败，查看/var/lib/dkms/nvidia/535.xx/build/make.log里的错误信息。
常见的修复方法是安装build-essential和dkms：
sudo apt install build-essential dkms然后重新配置：
sudo dpkg-reconfigure nvidia-dkms-535-server6.3 坑三：Secure Boot 导致内核模块签名失败
如果机器开了 Secure Boot，NVIDIA 的内核模块需要签名才能加载。apt 安装的驱动会自动用 Ubuntu 的密钥签名，但 runfile 安装的不会。检查 Secure Boot 状态：
mokutil --sb-state如果显示SecureBoot enabled，而你又用 runfile 装了驱动，需要手动签名：
sudo /usr/src/linux-headers-$(uname -r)/scripts/sign-file sha256 /path/to/MOK.priv /path/to/MOK.der /lib/modules/$(uname -r)/kernel/drivers/video/nvidia.ko更简单的做法是直接在 BIOS 里关掉 Secure Boot。如果是生产环境不允许关闭，那就用 apt 安装驱动。
6.4 坑四：CUDA 安装后 nvcc 找不到
装完 CUDA 后nvcc -V报 "command not found"，说明 PATH 没配好。检查/usr/local/cuda-12.2/bin是否在 PATH 里。如果没有，按第 4 节的步骤配置环境变量。另一个可能是 runfile 安装时没勾选 Toolkit，只装了驱动。重新运行 runfile，确保勾选了 CUDA Toolkit。
6.5 坑五：cuDNN 版本验证时链接到旧版本
如果机器上之前装过 cuDNN，ldconfig缓存里可能有旧版本的记录。清理方法：
sudo ldconfig然后重新编译验证程序。如果还是链接到旧版本，检查/etc/ld.so.conf.d/下是否有指向旧 CUDA 目录的配置文件，有的话删掉或注释掉。
7. 装完之后怎么验证整套环境是通的
7.1 用 PyTorch 做端到端验证
装完驱动、CUDA、cuDNN 之后，最直接的验证方式是跑一个 PyTorch 的小程序。先安装 PyTorch（CUDA 12.2 对应的版本）：
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121注意这里用的是 cu121 而不是 cu122，因为 PyTorch 官方为 CUDA 12.1 编译的版本在 12.2 上完全兼容。装完之后：
import torch print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0)) print(torch.backends.cudnn.version())如果输出True、Tesla V100S-PCIE-32GB、8907，说明整套环境跑通了。
7.2 性能基准测试
用torch.cuda跑一个简单的矩阵乘法，确认 V100s 的性能正常：
import torch import time a = torch.randn(4096, 4096).cuda() b = torch.randn(4096, 4096).cuda() # 预热 for _ in range(10): c = torch.matmul(a, b) torch.cuda.synchronize() start = time.time() for _ in range(100): c = torch.matmul(a, b) torch.cuda.synchronize() end = time.time() print(f"Time: {end - start:.4f}s") print(f"TFLOPS: {2 * 4096**3 * 100 / (end - start) / 1e12:.2f}")V100s 的 FP32 理论峰值是 16.35 TFLOPS，实测应该在 14-15 TFLOPS 左右。如果明显低于这个值，检查是否开启了 ECC（ECC 会损失约 10% 性能）或者卡是否降频。
7.3 常见验证失败的原因排查
| 现象 | 可能原因 | 排查方法 |
|---|---|---|
| torch.cuda.is_available() 返回 False | 驱动未加载 | nvidia-smi 是否正常 |
| cudnn.version() 返回 None | cuDNN 未安装或版本不匹配 | 检查 libcudnn.so 是否存在 |
| 性能远低于预期 | ECC 开启或降频 | nvidia-smi -q -d PERFORMANCE |
| 运行时报 CUDA error | 驱动与 CUDA 版本不匹配 | nvcc -V 和 nvidia-smi 对比 |
8. 关于驱动版本选择的一些个人经验
V100s 这块卡我用了三年多，从 CUDA 10.2 一路用到 12.2，驱动从 440 用到 535。几个体会：
535 系列是 Volta 架构的甜点版本。550 之后的驱动对 Volta 的支持明显减弱，NVIDIA 把优化重心放在了 Ampere 和 Hopper 上。535 是最后一个对 Volta 做完整优化的长期支持版本，而且 535.54.03 正好是 CUDA 12.2 的配套驱动，兼容性最好。
不要追新。很多人看到 550 或 560 出来了就想升级，结果发现 V100s 的性能反而下降，或者某些 CUDA 特性不可用。数据中心卡的生命周期很长，驱动选择应该以稳定为先，而不是版本号最新。
ECC 的取舍。V100s 支持 ECC 显存校验，开启后显存容量不变（HBM2 自带 ECC），但性能会损失约 8-10%。如果是做科学计算，建议开启；如果是做深度学习训练，可以关闭以换取性能。切换方法：
sudo nvidia-smi -e 0 # 关闭 ECC sudo nvidia-smi -e 1 # 开启 ECC切换后需要重启生效。
持久化模式。数据中心卡建议开启持久化模式，避免每次调用时重新初始化驱动：
sudo nvidia-smi -pm 1这个设置重启后会失效，可以加到 systemd 服务里或者 rc.local 里。
功耗限制。V100s 的默认功耗上限是 250W，如果散热条件好，可以适当提高：
sudo nvidia-smi -pl 300但要注意，超过 250W 后性能提升有限，而发热明显增加。实测从 250W 提到 300W，FP32 性能只提升约 3%，但温度上升 10 度以上。除非散热非常给力，否则不建议动这个设置。
最后说一个容易被忽略的点：V100s 的 NVLink 桥接器。如果你有两块 V100s 并且用 NVLink 连起来，需要确认驱动识别到了 NVLink：
nvidia-smi nvlink -s如果显示 "NVLink is not supported" 或者 "No NVLink devices found"，检查桥接器是否插紧，以及驱动版本是否支持 NVLink。535 系列是支持 V100s NVLink 的，但某些早期版本有 bug，升级到 535.54.03 以上即可解决。
