1. 选卡之前，先分清显存、算力、带宽分别影响什么
1.1 显存容量：决定你能装下多大的模型
很多人第一次租GPU云服务器，第一眼看的就是“显存多少”。这个思路没错，但很容易被带偏。显存容量直接决定你能把多大的模型完整加载到显卡里，但它不是唯一的决定因素。比如一张4090有24GB显存，一张A100也有40GB或80GB，看起来只是容量差异，实际用起来会发现两者的行为方式完全不同。
显存容量解决的是“装得下”的问题。以跑大语言模型为例，一个7B参数的FP16模型，光权重就要占约14GB显存，再加上KV Cache、激活值、中间梯度，推理时往往需要20GB以上。所以7B模型在24GB的4090上跑推理还算舒服，但要在24GB上做LoRA微调就会非常紧张。而27B模型的FP8版本，权重约27GB，24GB卡根本装不下，至少要40GB显存起步，最好上80GB。这也就是为什么很多人反复在问“qwen3.8-27b-fp8需要多大显存”——答案不是简单看权重文件大小，还要看序列长度、并发数、是否开量化、是否需要保留推理状态。
训练场景就更夸张。训练时除了模型权重，还要存优化器状态和梯度：Adam优化器通常每个参数额外占12字节，混合精度训练下，一个7B模型仅优化器状态就需要约84GB。所以经常看到有人用4090只能做推理，做微调只能选极小的batch size，或者依赖DeepSpeed ZeRO-3把状态分片。结论很简单：显存容量决定了你的“可用空间”，在预算允许时尽量往大了选，但也不是越大越好，因为后面还有带宽和算力的问题。
1.2 算力：FP16、BF16、TF32这些数字是怎么来的
GPU的算力是个容易误解的参数。厂商宣传页上写的“XX TFLOPS”，通常伴随一个精度前缀：FP32、TF32、FP16、BF16、FP8。这些数字的含义完全不同，如果你不看精度直接比大小，一定会踩坑。
简单理解：算力就是这张卡每秒能做多少次浮点运算。精度越高，单次运算能表示的数值范围越精细，但单位时间能处理的量就越少。所以FP32算力通常是FP16算力的四分之一甚至更低，FP8算力又比FP16翻倍。比如A100的FP32算力是19.5 TFLOPS，FP16 Tensor Core算力是312 TFLOPS，后者是前者的16倍。H100的FP32算力约67 TFLOPS，FP16 Tensor Core算力约990 TFLOPS，差距更大。
这里的关键是“Tensor Core”两个字。Tensor Core是NVIDIA显卡上专门做矩阵乘法的单元，深度学习里的卷积、全连接、Attention本质上都是矩阵运算，Tensor Core能极大加速这些计算。所以你在跑PyTorch模型时，如果框架自动用上了FP16/BF16的Tensor Core路径，实际速度会远高于FP32普通计算。
云平台宣传“算力高”时，经常写稀疏FP16算力，也就是启用2:4结构化稀疏后能达到的理论值。这个值是稠密算力的两倍，但绝大多数场景用不上。所以看参数表，第一优先看FP16/BF16稠密Tensor算力，其次是显存带宽，FP32算力只有在做科学计算或传统数据处理时才有参考价值。
1.3 显存带宽：推理和训练感受最明显的差距
显存带宽经常被忽略，但它往往是GPU真实性能的隐形天花板。带宽的意思是GPU每秒钟能从显存中读取多少数据。大模型推理是一个访存密集型任务：权重数据要从显存搬到计算单元，算完再写回，每一步都在跟带宽较劲。如果你的显卡算力很强但带宽不足，模型推理时计算单元会大量空转等待数据。
直观对比一下：4090的显存带宽约1008 GB/s，A100 80GB约2000 GB/s，H100约3350 GB/s，H200约4800 GB/s。这就解释了为什么同样跑一个13B模型，4090的token生成速度往往明显低于A100，即便4090的FP16 Tensor算力看起来和A100差不多。因为推理时瓶颈主要不是计算量，而是权重读取速度。
训练则不同，训练更偏算力密集型，大batch size下计算时间长，带宽的影响相对小一些，但也不容忽视。理解了这个区别，你再去看卡型参数表，就会明白为什么不能单看显存容量。24GB的4090和24GB的T4虽然显存容量一样，但带宽差了近三倍（T4约300GB/s），跑模型速度天差地别。
2. 2026年云GPU卡型格局：消费卡、专业卡、加速卡怎么选
2.1 4090为什么霸榜个人开发者，A100/H100到底强在哪
在云服务器市场上，4090是个人开发者最熟悉的卡型。原因很现实：单卡24GB显存正好能覆盖7B到13B量级模型的推理，价格比A100/H100便宜一个量级，租一台4090通常每小时几块钱，而A100/H100按小时计费贵得多。很多人拿4090跑PyTorch、跑ComfyUI、跑llama.cpp，非常顺手。
但4090本质上是一张消费级游戏卡，NVIDIA并没有为它开放完整的专业特性。最典型的是NVLink被砍掉了，多卡4090之间只能走PCIe通信，训练时同步梯度会明显慢于A100/H100的NVLink互联。此外4090的驱动和云平台虚拟化支持不如专业卡稳定，部分云厂商会限制它的功耗或不允许GPU直通。
A100则是数据中心主力。它的优势不只是80GB显存，而是完整的NVLink、更高的显存带宽、更可靠的ECC显存、以及针对虚拟化场景的MIG支持。A100可以切成多个实例分给不同用户，云厂商更容易做资源池。H100延续了A100的数据中心路线，同时大幅提升了Tensor Core算力和FP8支持，专门为训练超大模型设计。
所以2026年的选卡逻辑并没有本质变化：预算有限、跑中小模型、追求性价比，4090非常合适；要跑大模型的预训练或大规模微调、需要多卡高速互联，A100/H100仍然是稳妥选择。
2.2 H100之后：H200和国产卡也值得放进对比里
H100发布之后，NVIDIA很快推出了H200。H200的计算能力与H100基本一致，核心升级在于显存：从80GB HBM3提升到141GB HBM3e，带宽从3.35TB/s大幅提升到4.8TB/s。对推理场景来说，H200是真正的“显存怪兽”，能单卡装下很多70B级别的量化模型，无需多卡张量并行，部署成本反而可能更低。
云平台上H200的租用价格通常比H100贵一截，但如果你需要经常跑超大模型推理，H200凭借更大显存和更高带宽，可能比两台H100更划算。尤其是跑长上下文场景，KV Cache消耗非常快，H200的141GB优势很明显。
国产卡方面，昇腾910B等卡型在国内云平台越来越多。910B的显存容量在64GB左右，算力规格对标A100，但因为生态和软件栈成熟度不同，PyTorch下跑模型经常要适配MindSpore或通过特定框架转换。对于习惯用CUDA生态的人，切换成本不可忽视。如果你只是短期租用、跑现有开源模型，优先选CUDA卡能省去大量调试时间；如果是长期项目且有技术团队做适配，国产卡也可以纳入对比。
2.3 别忽略“中间层”：L40S、RTX 6000 Ada这类卡型
很多人对比卡型时只看4090、A100、H100，却忽略了中间层。L40S和RTX 6000 Ada就是两类值得关注的卡。L40S是NVIDIA面向AI推理和图形渲染混合场景出的专业卡，48GB显存，显存带宽864GB/s，FP16 Tensor性能比4090有明显优势，并且支持PCIe Gen5和NVLink（在某些平台上）。RTX 6000 Ada同样是48GB显存，定位工作站，比L40S更便宜，适合需要ECC显存但预算不够上A100的场景。
这类“中间层”卡在云平台上的价格通常介于4090和A100之间，显存容量比4090翻倍，但带宽和互联又不如H100。如果你的任务恰好需要40GB以上显存，但计算量不需要A100/H100那种规模，选它们往往比硬上A100更划算。2026年的云市场上，中间层卡型的供给也越来越多，不要只盯三五个熟悉的名字。
3. 4090、A100、H100等主流卡型显存算力参数对照表
3.1 参数表：同一张卡在不同平台为什么数字对不上
先给出一张基于常见公开规格整理的对照表。需要特别说明的是，云厂商不同批次、不同驱动的功耗墙和超频策略会导致实际数字有浮动，所以这张表偏“理论最大口径”，真实租用时要以上机实测为准。
| 卡型 | 显存容量 | 显存类型 | 显存带宽 | FP32算力 | FP16稠密Tensor算力 | 功耗(TDP) | 多卡互联 |
|---|---|---|---|---|---|---|---|
| RTX 4090 | 24GB | GDDR6X | 1008 GB/s | 82.6 TFLOPS | 约330 TFLOPS | 450W | PCIe 4.0，无NVLink |
| A100 80GB | 80GB | HBM2e | 2000 GB/s | 19.5 TFLOPS | 312 TFLOPS | 300W/400W | NVLink 600GB/s |
| H100 SXM | 80GB | HBM3 | 3350 GB/s | 67 TFLOPS | 990 TFLOPS | 700W | NVLink 900GB/s |
| H200 SXM | 141GB | HBM3e | 4800 GB/s | 67 TFLOPS | 990 TFLOPS | 700W | NVLink 900GB/s |
| L40S | 48GB | GDDR6 | 864 GB/s | 91.6 TFLOPS | 约362 TFLOPS | 350W | PCIe 5.0，可选NVLink |
| RTX 6000 Ada | 48GB | GDDR6 ECC | 960 GB/s | 91.1 TFLOPS | 约364 TFLOPS | 300W | PCIe 4.0，不支持NVLink |
看这张表，第一个要注意的是4090的FP32算力很高，甚至超过A100和H100。这是因为4090是消费卡，游戏和图形工作负载对FP32更敏感，所以NVIDIA给了很高的FP32单元密度。但深度学习的矩阵运算走的是Tensor Core路线，H100的FP16稠密Tensor算力几乎是4090的三倍，这才是差距所在。
第二个要注意的是“300W/400W”这种功率后缀。A100 SXM版标称功耗有400W，PCIe版是300W。云平台上同一型号，不同功率版本的实际性能有差异。有些平台为了降低散热成本，会把功耗墙压到200W甚至更低，算力随之下降，这就是为什么有网友反馈“同一台H100跑出来的速度不一样”。
3.2 逐行拆解参数：显存类型为什么比容量更重要
显存类型直接决定带宽上限。HBM系列（HBM2e、HBM3、HBM3e）是堆叠式高带宽显存，专门为高性能计算设计，位宽极高。GDDR系列（GDDR6、GDDR6X）是普通颗粒，位宽有限，只能靠提高频率和单颗容量来补。H100的显存带宽是4090的三倍多，这是芯片封装、位宽、颗粒频率共同决定的。
用A100和4090对比更直观：两者FP16 Tensor算力接近（312 vs 330 TFLOPS），但A100的带宽是4090的两倍。在纯生成式推理场景，A100的token吞吐量大概率优于4090，因为每次生成一个token，都要把模型所有参数从显存读一遍。24GB模型在1008GB/s带宽下，理论最少读取时间是24GB/1008GB/s约23.8毫秒；在A100 80GB上同样读取24GB数据，只要12毫秒。这个差距乘以每次请求，就是用户实际感知的卡顿感。
另外要留意显存颗粒类型对功耗和稳定性的影响。HBM的功耗更低，但成本高；GDDR6X虽然便宜，发热大，长时间满载容易降频。云服务器通常共享机房散热环境，所以选择卡型时，优先关注带宽数值，再看是否带ECC（纠错）功能。A100/H100/H200都支持ECC，能有效避免显存偶发错误导致训练中断，这在长任务训练中是“续命”级别的差异。
3.3 从参数到场景：怎么看表选出适合自己的卡
表里面参数很多，实际选择时不要平均用力。根据你的任务，给参数排个优先级：
- 纯大模型推理场景：显存容量 > 显存带宽 > FP16 Tensor算力。因为推理时模型参数读取占主导，先保证装得下，再保证读得快。
- 大模型微调（LoRA/QLoRA）：显存容量 > FP16 Tensor算力 > 带宽。微调会大幅增加显存占用（优化器状态、梯度），算力影响迭代速度。
- 大模型预训练/全参微调：FP16 Tensor算力 > 显存带宽 > NVLink互联。因为训练计算密集，多卡通信频率高，NVLink是关键。
- 多模态模型/图片视频生成：显存容量 > 算力 > 带宽。图像模型对显存瞬时需求大，但推理请求并发量相对小，带宽压力不如文本生成那么极端。
记住这套优先级，再回来看参数表，你就不会因为“4090 FP32算力比A100高”这种话术而选错卡了。
4. 拿到云服务器后，怎么验证显存和算力没有缩水
4.1 nvidia-smi的输出怎么看：容量、驱动、功耗墙
买了云GPU后，第一个动作永远是执行nvidia-smi。不要只看“显存24GB”就以为没问题，你需要确认几个关键信息：驱动版本、CUDA版本、当前功耗、温度、以及是否有其他进程占着显存。
很多云平台默认装好了驱动，但版本很老。老驱动对PyTorch和CUDA的兼容性差，经常出现“CUDA initialization failed”或者在混合精度下报错。如果你需要最新CUDA支持，先看驱动版本是否满足要求。比如PyTorch 2.4以上版本通常需要CUDA 12.x，如果驱动只支持CUDA 11，那很多新特性用不了。
功耗墙是最隐蔽的坑。执行nvidia-smi -q -d POWER可以看到当前最大功耗限制。如果max limit明显低于官方TDP，比如4090只给到300W，说明云平台对显卡做了功耗限制。这种限制不会写在购买页面上，但会直接导致跑模型频率上不去，算力打七折。遇到这种情况，要么找客服要一个没有限制的实例，要么换一家平台。
4.2 用PyTorch跑一个小测试，确认FP16/FP32实际性能
验证算力最稳的方法是用PyTorch造一个矩阵乘法，分别测FP16和FP32下的GFLOPS。我一般会写一个几十行的脚本，随机生成两个大矩阵，跑几十次取平均，然后用公式算算力。
import torch import time def bench(dtype, size=4096, iterations=20): a = torch.randn(size, size, dtype=dtype, device='cuda') b = torch.randn(size, size, dtype=dtype, device='cuda') # 预热 for _ in range(5): c = a @ b torch.cuda.synchronize() start = time.time() for _ in range(iterations): c = a @ b torch.cuda.synchronize() elapsed = (time.time() - start) / iterations # 2 * size^3 是矩阵乘法的浮点运算次数 flops = 2 * size**3 / elapsed / 1e12 print(f"{dtype}: {flops:.2f} TFLOPS") bench(torch.float32) if torch.cuda.is_available() and torch.cuda.get_device_capability()[0] >= 7: bench(torch.float16)这个测试能粗略看出显卡的FP32实际算力。如果4090的FP32跑出来只有40多TFLOPS，明显低于理论82.6 TFLOPS，大概率是功耗墙或散热问题。FP16测试则要看Tensor Core有没有被调用，PyTorch默认的half矩阵乘法在最新版本会用到Tensor Core，如果跑出来的FP16 TFLOPS接近FP32的四到六倍，说明Tensor Core路径是通的。
4.3 检查显存带宽的土办法，以及容易被坑的多卡场景
显存带宽测试有专业工具（比如bandwidthTest），但云服务器上未必有权限装CUDA Toolkit。我一般用PyTorch对一个大tensor做整体拷贝，用数据量除以时间估算带宽。
import torch import time x = torch.randn(4 * 1024 * 1024 * 1024 // 4, device='cuda') # 4GB数据 y = torch.empty_like(x) torch.cuda.synchronize() start = time.time() y.copy_(x) torch.cuda.synchronize() elapsed = time.time() - start bandwidth = x.numel() * 4 / elapsed / 1e9 print(f"实测带宽: {bandwidth:.1f} GB/s")注意这个方法是“高估”的，因为大块连续拷贝是显存控制器最擅长的模式，实际模型访问会更碎片化，所以实测带宽只要达到标称值的百分之七八十以上，可以认为正常。如果4090实测带宽只有四五百GB/s，那说明云平台很可能分配了残次卡或者共享了带宽资源。
多卡场景还要看NCCL通信带宽。租4卡A100/H100之前，先跑一下nvidia-smi topo -m检查卡间拓扑。如果显示所有卡都挂在同一个PCIe switch下，那它们之间通信走PCIe，速度可能只有几十GB/s；如果显示NVLink直连，通信带宽能到数百GB/s。分布式训练中，每步迭代都要同步梯度，通信带宽低会把多卡加速比拉垮，甚至出现4卡不如单卡快的情况。
5. 按真实需求选卡：微调、推理、多模态、高并发的不同配置
5.1 微调大模型：7B、13B、27B参数到底要多少显存
这是被问到最多的问题。直接给一个经验公式：用LoRA微调一个FP16基座模型，显存占用大约是参数量的4到6倍；用全参微调，大约是10到15倍。
以7B模型为例，FP16权重约14GB。LoRA微调时，显存占用通常在24GB到32GB之间，取决于batch size和序列长度。所以4090的24GB跑7B LoRA很吃力，经常需要开gradient checkpointing并把batch size调到1甚至用QLoRA（4bit量化）才能塞进去。13B模型的FP16权重约26GB，LoRA微调需要40GB以上显存，4090基本无望，A100 40GB可以勉强跑小batch，A100 80GB才比较舒服。27B模型的FP8权重约27GB，如果开LoRA微调，实际显存可能还要再加10GB到20GB，4030这种24GB卡硬跑不行，至少40GB，推荐80GB。
所以在选择卡型之前，先想清楚你的“目标参数量”是多少，然后按公式估算显存下限。宁可多估一些，因为序列长度一长，KV Cache会迅速膨胀。比如4090跑7B模型，序列长度512时可能只要12GB，但拉到4096就需要18GB以上。
5.2 低显存跑模型：量化、卸载、流式加载这些手段能不能救命
显存不够时，常见的救命方案有三种：量化、CPU卸载、流式加载。先说量化，把FP16模型量化成INT8或INT4，权重占用直接减半或减到四分之一。4bit量化后，7B模型权重只有约3.5GB，16GB显存完全跑得动。这也是llama.cpp和很多推理框架支持GQA/量化操作的场景。
但量化不是没有代价。INT4量化会让模型输出质量轻微下降，对于专业问答、代码生成等任务，降级可能可以接受；对于创作类任务，效果会明显变“钝”。另外量化主要解决的是显存容量问题，不会提升推理速度，因为带宽瓶颈仍然存在。如果显存还是不够，可以开启CPU卸载，把部分层放在内存里，GPU按需加载。这种做法的速度非常依赖内存带宽和PCIe带宽，实测下来往往比纯GPU推理慢一个数量级，只能作为应急方案。
流式加载则是更极端的做法，适合那些“显存不够，硬盘来凑”的场景。把模型权重按层存储在SSD上，每次推理只加载需要的层。缺点同样明显：推理速度会降低，而且并发请求多时GPU利用率极低。我的建议是：低显存救急可以，但如果你的目标是“稳定部署服务”，最好还是买够显存，不要指望用魔法打败物理定律。
5.3 token吞吐与并发：算力和带宽如何决定你的服务成本
最后一个选卡维度是服务成本。很多人只关心模型能不能跑起来，却忽视了token吞吐量这个指标。对于在线API服务，你关心的是每秒能输出多少个token，能支持多少并发。这个指标由算力和带宽共同决定。
文本生成是串行的，每生成一个token，需要把模型权重完整读一遍。假设模型权重是14GB（7B FP16），如果你的卡带宽是1000GB/s，理论单token延迟约14毫秒；如果带宽是2000GB/s，延迟降到7毫秒。延迟越低，单卡能跑的用户请求就越多，单位成本越低。
算力也会限制最大batch size。推理时可以一个batch里塞多个请求，利用GPU并行计算能力。算力越强的卡，可以处理的并发batch越大，token吞吐总量越高。所以评估token算力需求时，不要只算“一个请求需要多少算力”，而是要看“在目标延迟下，单卡能扛多少并发”。H100在同等显存容量下能比4090挂更多并发，这也是它贵得有道理的原因。
当你需要做一个“按token计费”的AI服务时，建议先拿实卡压测，记录不同并发下的token/s。用这个数据反推需要几张卡，才能算明白每千token的基础设施成本。网上很多博主推荐“16g显存多模态模型”，就是针对这些具体场景给出的务实方案，不能脱离并发和响应时间谈性价比。
6. 我的踩坑记录：云GPU租用中最常见的三个坑
6.1 显存没缩水，但带宽被限制，性能直接对半砍
我有一次租了台A100 80GB，用nvidia-smi看显存完好，驱动也是新的，但跑7B模型生成速度比预期慢非常多。起初我以为是模型框架问题，后来用显存带宽测试脚本一测，实测带宽只有900GB/s，连标称2000GB/s的一半都不到。找客服排查后发现，这个实例被分配到了“共享带宽”的资源池，同一张物理卡被多个虚拟化实例共用，显存是独立的，但显存控制器的带宽被限制了。
这不是个别平台的问题。在部分低价云服务商那里，A100/H100的“独享显存带宽”并不一定被保证。后来我学乖了，租卡之前先问清楚：是不是独享卡？有没有占满整个物理GPU？有没有带宽限制？如果客服说不上来，就先按小时租一台测试机器，用4.3节的脚本跑一遍，确认带宽达标再部署正式任务。这个验证过程半小时就能搞定，能省下以后几天的排查时间。
6.2 云平台给的算力是“稀疏”算力，宣传页不告诉你
很多云厂商在售卡页面写“H100算力高达1979 TFLOPS”。这个数字是FP16稀疏Tensor Core算力，实际模型训练根本用不到。如果你的模型没有做2:4结构化稀疏剪枝，能用到的只有990 TFLOPS的稠密算力。类似地，4090宣传页经常写“660 TFLOPS”，实际PyTorch默认推理路径能跑到的就是330 TFLOPS左右。
这个坑特别隐蔽，因为不是造假，而是“避重就轻”。作为使用者，只能自己心里有数：凡是看到商家宣传算力，先问一句“是稠密还是稀疏”“是FP16还是FP8”。FP8的算力更高，但PyTorch默认并不使用FP8训练，只有少数经过特殊优化的框架和GPU型号支持。所以参数表里的数字，要选“FP16稠密Tensor算力”那一列，其他数字都只当参考。
6.3 多卡实例的互联拓扑：NVLink和PCIe差距到底有多大
多卡租用是另一个重灾区。有一段时间我租过一台“4卡4090云服务器”，以为四张卡加一起显存有96GB，跑13B模型绰绰有余。后来才发现这四张4090之间完全没有NVLink，只能通过PCIe通信，而且云厂商把PCIe通道数还减半了。跑分布式训练时，梯度同步时间占到了每一步的40%以上，四卡速度只比单卡快1.2倍，几乎等于白花钱。
如果真的需要多卡训练，优先选择支持NVLink的卡型，比如A100/H100/H200。租用前一定要用nvidia-smi topo -m查看拓扑，如果显示“NVx”“NVLink”，说明有高速互联；如果全是“PIX”“PHB”这类PCIe连接，就要做好通信瓶颈的心理准备。对于4090多卡，建议尽量用张量并行推理（Tensor Parallelism）而不是数据并行训练，因为推理时通信频率较低，PCIe还能勉强接受；训练则尽量避免4090多卡。
另外，多卡实例的显存是独立的，不等于“96GB显存可以当一个整体用”。你需要显式地做模型并行或数据并行，才能把多卡利用起来。如果你的模型权重超过单卡显存，又没有多卡推理框架的经验，那租多卡4090大概率会让你怀疑人生。建议先从单卡大显存开始，比如H200的141GB或A100 80GB，往往比多卡低配方案省心得多。
