视觉 Transformer（ViT）这几年几乎成了计算机视觉圈绕不开的关键词。所谓多模态 ViT，就是把这种以自注意力为核心的图像模型拓展到图像与文本共同建模的场景，在图文检索、视觉问答这类任务上的表现尤其突出。这篇文章不打算停留在名词层面，而是把 ViT 的 patch embedding、位置编码、self-attention 这些底层机制一层层拆开，再通过两个可以直接跑的实战案例，把单模态分类和多模态图文匹配完整串起来。适合已经用过 CNN 做图像任务、对 Transformer 只有粗浅了解的读者，也适合准备做多模态项目但还没理清原理的初学团队。
我会尽量用从业者的口吻来写，不堆公式，不背论文，重点放在“为什么要这么设计”和“实际跑起来会遇到什么”。看完之后，你至少能回答三个问题：图像是怎么变成 token 的？图文是怎么被塞进同一个模型的？自己动手搭的时候选型逻辑是什么？
1. 从 CNN 到视觉 Transformer：它在解决什么问题
1.1 CNN 的固有瓶颈
CNN 的核心操作是卷积，卷积核本质上是一个局部窗口。你用一个 3×3 的卷积核扫过图像，每一步看到的只有周围 9 个像素，想要看到全局关系，只能靠堆叠层数，让高层特征慢慢“感知”到更远的区域。问题在于，这种长距离依赖的传递是间接的，中间层数不够时，左上角和右下角的信息很难在浅层直接交互。
实际做分类任务时，这种局部先验通常够用，因为物体分类本身更多依赖局部纹理。但一碰上“需要判断两个相距很远的区域是否属于同一物体”的任务，比如图像里有两只鸟，模型要判断它们是否同类，CNN 就得绕很多弯。Vision Transformer 的思路完全不同：它从第一层开始就让每个 patch 和整张图的所有 patch 直接做注意力交互，不靠局部窗口慢慢扩大，天然具备全局建模能力。
1.2 Transformer 给视觉带来了什么
Transformer 原本是处理序列的架构，核心是 self-attention。ViT 做的事情其实非常简单，把一张图切成固定大小的小块，每个小块当成一个“词”，然后像处理自然语言一样处理这一串“词”。这种做法的最大好处是架构统一：同一套模型既能吃文本 token，也能吃图像 token，多模态任务就顺理成章了。
代价也明显：Transformer 对图像的局部不变性先验几乎是零。CNN 天然认为“猫在图片左边还是右边语义差不多”，但 ViT 没有这个假设，它需要大量数据或强数据增强来自己学习这种不变性。这也是为什么 ViT 刚出来时，很多人发现不加载预训练权重、直接在小数据集上从零训练，效果还不如同参数量的 CNN。这不是 ViT 不行，而是先验少、样本需求高的必然结果。
1.3 多模态时代为什么绕不开 ViT
多模态模型要处理的输入往往是“一张图片 + 一句文本描述”，或者“一段视频 + 一段语音”。如果图像塔用 CNN、文本塔用 LSTM，两个塔结构不一致，融起来非常别扭。而 ViT 把图像也序列化成 token，和文本 token 在结构上等价，跨模态注意力可以直接在同一个特征空间里做交互，不需要额外设计复杂的对齐模块。
我实际看过不少多模态项目，最后的统一趋势都是这样：图像编码器用 ViT，文本编码器用某种 Transformer，两个塔输出向量拉近或拼接，训练时要么对比学习，要么交叉注意力融合。所以不管你当前是做图像分类还是做内容理解，理解 ViT 已经不是一个“可选项”，而是读多模态论文和项目代码的前置条件。
2. 单模态 ViT 原理拆解：图像如何变成序列
2.1 Patch Embedding：把图片切块再“翻译”成 token
ViT 的第一步是全篇最重要的概念：patch embedding。假设输入图像是 224×224×3，设定 patch size 为 16，那么整张图会被切成 (224/16)² = 196 个小块，每个小块尺寸是 16×16×3。每个小块展平后是一个长度为 768 的向量，再经过一个线性投影变成隐藏维度 D=768 的 embedding。这样，一张图就变成了一个 196 个 token 组成的序列，每个 token 对应原图的一个区域。
为什么说“翻译”？因为像素值本身没有语义。线性投影做的事情，相当于把“这个区域的原始像素组合”映射到模型可理解的语义空间。注意这里的映射是全局共享的，所有 patch 用的是同一个线性层，否则模型就学不到“不同位置但同样纹理应该编码一致”的规律。
实现上有两种等价方式：先切块再拉平再线性映射，或者直接用一个大 stride 的卷积操作一次性完成。卷积实现更简洁且计算高效，用的就是nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)。这个操作本质上等价于不重叠切块加线性投影，是一个标准的工程化简。
2.2 位置编码与 [CLS] Token：给 token 补上空间信息
self-attention 对输入顺序不敏感，你把序列打乱重排，计算出来的注意力分布完全一样。但图像 patch 的位置显然是有意义的，左上角和右下角无论如何也不该被同等对待。所以 ViT 给每个 patch embedding 加上一个可学习的位置向量，让模型知道这个 token 来自哪个空间位置。
位置编码有两种主流的做法：可学习位置编码和三角函数固定编码。ViT 原始论文用的就是可学习位置编码，把位置索引映射成一个 D 维向量，直接加到 patch embedding 上。因为可学习，模型可以自行判断“哪些相对位置关系更重要”，不必由人手动设计。后来大量的实践也证明，在中等规模数据集上可学习位置编码一般优于固定频率编码，所以在微调类代码里几乎都是可学习版本。
再说 [CLS] token。这个特殊 token 被放在序列最前面，不来自任何 patch，初始化为一个可学习向量。它的任务是整张图像的语义汇聚点。经过多层 transformer 之后，[CLS] 这个位置的输出向量里编码了全局信息，最后接一个分类头或对比投影头。用 [CLS] 而不是对全部 token 做平均池化，是为了让模型有固定的输出口，类似“班级里选一个代表，全班同学通过注意力把自己的关键信息告诉它，最后由它发言”。
2.3 Self-Attention 与 Encoder：每个 patch 和所有 patch 对话
Transformer 的核心是 self-attention。给定输入的 embedding 序列，模型把它分别映射到三个空间：Q（query）、K（key）、V（value）。每个 token 用自己的 Q 去和所有 token 的 K 做点积，得到注意力分数，再用 softmax 归一化成权重，最后加权求和所有 token 的 V。这个过程允许每个 patch 直接获取全图信息，而且权重是数据驱动的，模型自己决定哪个区域重要。
公式里的“除以 sqrt(d_k)”经常被忽略，其实非常关键。d_k 是每个注意力头的维度。如果不做缩放，当 d_k 比较大时，点积结果会很大，softmax 会变得特别尖锐，梯度容易消失。除以根号 d_k 是为了把点积分布的方差拉到接近 1，让梯度流动更健康。
多头注意力就是把 D 维拆成多个子空间并行做注意力，每个头关注不同关系。比如一个头关注“颜色一致性”，另一个头关注“边缘延续性”。拆开再拼接，最后通过线性层融合。每个注意力块后面还跟着 MLP、残差连接和 LayerNorm，结构上就是“Norm → Attention → 残差 → Norm → MLP → 残差”这样的循环，重复 L 层。
一个生活化的类比：全班 196 个同学讨论问题。每个同学先写出自己的问题（Q）、名片（K）和观点（V）。然后每个人拿着自己的问题去跟全班同学的名片匹配，匹配度越高，越要仔细听对方的观点。听完一圈，每个人带着全班的精华回到自己座位，结合自己的原观点（残差），再做个总结（MLP）。重复讨论 L 轮。
2.4 复杂度与适用边界：为什么要控制 patch 大小
self-attention 的计算复杂度是 O(N²·D)，N 是 token 数量。在标准 ViT 里 N=196，这个平方复杂度完全可接受。但如果你把 patch size 从 16 降到 8，token 数就从 196 变成 784，注意力计算量直接涨 4 倍。所以实际项目中改分辨率或 patch size 前，一定要算这笔账。
选 patch size 的本质是取舍：patch 越小，局部细节保留越多，但 token 越多、计算量越大、训练难度越高；patch 越大，token 少、速度快，却容易丢失小物体信息。标准 ViT-Base 用 patch=16 通常是默认平衡点。如果任务里小目标很多，与其直接改小 patch，不如先尝试更大分辨率的输入，再配合位置编码插值，效果往往更稳。
另外一点很现实：在小数据集上，ViT 不一定比 ResNet 更好。如果你只有几千张图且预训练权重也不好找，老老实实用 CNN 可能更快落地。ViT 的优势建立在足够数据或高迁移性预训练之上，这点在选型时必须清楚。
3. 多模态 ViT 原理详解：图像和文本如何协同
3.1 双塔结构：让图像和文本对齐到同一个空间
最经典的多模态 ViT 应用是双塔对比结构。图像塔是 ViT，输出一个图像向量；文本塔是 Transformer，输出一个文本向量。训练目标很简单：匹配的图文对向量距离近，不匹配的推远。用一个温度缩放后的对比损失来优化，本质上是在学一个共享向量空间。
这种设计的优势是工程友好。双塔编码互相独立，公司和开发者可以把文本输出向量离线全部计算好，存进向量数据库。线上来一个查询图片，只需要算一次图像向量，然后做近邻搜索就能拿到结果，不需要实时做图文交互。这也是很多内容检索系统的标准姿势。
训练时最常用的目标函数是 InfoNCE 或者对称交叉熵。简化后就是一个矩阵乘法：一个 batch 里，图像向量和文本向量两两计算相似度，得到一个 B×B 的相似度矩阵。对角线上的 (i, i) 是正样本对，其余都是负样本。然后沿着行方向做 softmax 交叉熵，让每一行正确索引对应到对角线。这个过程自动利用 batch 内其他配对作为负样本，不需要额外标注负样本数据，简单高效。
3.2 跨模态融合：从双塔到交叉注意力
双塔结构的问题在于交互太浅。图像和文本只在最后向量层面做了一次点积，没有细粒度的 token 级交互。“图中那只戴帽子的狗”和“站在狗后面穿红衣服的人”，这类需要局部对应关系的任务，光靠整体向量对齐很容易失败。
这时就要引入交叉注意力。常见做法是让文本 token 作为 query，去 attend 图像 token 的 key/value，这样文本里的每个词都能从图像的不同区域“取答案”。反过来也可以让图像 token attend 文本 token。这种结构有显式的空间对应关系，适合视觉问答、指代理解、细粒度图文匹配等任务。
另一种更彻底的做法是单塔结构：直接构造一个多模态 token 序列，把图像 token 和文本 token 拼接在一起，喂进同一个 Transformer。图像 token 和文本 token 从第一层就开始互相 attend，融合最深，但输入长度更长、计算量更大，而且模型迁移性差，换任务基本要重训。实践中的选择逻辑是：检索场景用双塔，理解场景用交叉注意力，生成场景用单塔或 encoder-decoder。
3.3 多模态 ViT 的典型应用场景
图文检索是最常见的落地场景。商品图找对应主图描述、视频抽帧找字幕文本、UGC 内容做净网审核，本质都是“图像和文本是否匹配”的问题。双塔对比模型可以直接用来做召回，召回后可以再接一个融合模型做精排，形成完整链路。
视觉问答稍微复杂一些，输入是图像加问题，输出是答案。多模态 ViT 把图像 token 和问题 token 送入模型，用交叉注意力找到答案所在的图像区域，再结合问题语义输出答案。如果答案候选集预定义，直接做成分类任务；如果开放生成，可以用 encoder-decoder 结构来生成文本答案。
还有一类很实用的场景：数据清洗和自动标注。很多公司有大量“图像 + 网页文本”的弱相关数据，质量参差不齐。拿一个预训练多模态模型算一遍匹配分数，低于阈值的样本直接踢掉，比人工抽检效率高得多。我见过不少团队这么干，数据质量提升的效果比换网络结构还明显。
4. 实战案例：从零搭建一个 ViT 图像分类模型
4.1 任务设定与数据准备
这个案例不做大型 ImageNet 预训练复现，而是用一个小型自定义数据集，从零搭一个能跑通、能训练的迷你 ViT。数据方面我建议你自己准备一个小型街景分类数据集，比如晴、雨、阴、雪四类，每类一两百张图就够调通代码。重点不是精度多高，而是把整条链路跑通，看清每个模块的实际输入输出。
我这边模拟时用的是 CPU 也能跑通的小配置：图像缩放到 224×224，patch size 16，隐藏维度 192，Transformer 层数 4，注意力头 3。这个配置比论文里的标准 ViT-Base 小很多，但足以验证原理。如果显存或内存更紧张，可以把输入降到 128×128，patch size 保持 16，token 数变成 64，跑起来更快。
4.2 核心模型代码实现
Patch Embedding 用卷积实现。注意这里的num_patches要从输入尺寸精确推导，改输入分辨率时必须同步更新：
import torch import torch.nn as nn class PatchEmbed(nn.Module): def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=192): super().__init__() self.num_patches = (img_size // patch_size) ** 2 self.proj = nn.Conv2d( in_chans, embed_dim, kernel_size=patch_size, stride=patch_size ) def forward(self, x): # x: [B, 3, 224, 224] -> [B, 192, 14, 14] -> [B, 196, 192] x = self.proj(x) x = x.flatten(2).transpose(1, 2) return x接下来是 Transformer Encoder 的一个 block。这个代码写清楚了“Norm → Attention → 残差 → Norm → MLP → 残差”的标准顺序：
class Block(nn.Module): def __init__(self, dim=192, num_heads=3, mlp_ratio=4.0): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = nn.MultiheadAttention(dim, num_heads, batch_first=True) self.norm2 = nn.LayerNorm(dim) hidden_dim = int(dim * mlp_ratio) self.mlp = nn.Sequential( nn.Linear(dim, hidden_dim), nn.GELU(), nn.Linear(hidden_dim, dim) ) def forward(self, x): x = x + self.attn(self.norm1(x), self.norm1(x), self.norm1(x))[0] x = x + self.mlp(self.norm2(x)) return x然后封装成完整 ViT。注意[CLS]token 的初始化、位置编码的 shape 要和序列长度严格对应：
class ViT(nn.Module): def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=192, depth=4, num_heads=3, num_classes=4): super().__init__() self.patch_embed = PatchEmbed(img_size, patch_size, in_chans, embed_dim) num_patches = self.patch_embed.num_patches self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed = nn.Parameter(torch.zeros(1, num_patches + 1, embed_dim)) self.blocks = nn.Sequential(*[ Block(embed_dim, num_heads) for _ in range(depth) ]) self.norm = nn.LayerNorm(embed_dim) self.head = nn.Linear(embed_dim, num_classes) nn.init.trunc_normal_(self.pos_embed, std=0.02) nn.init.trunc_normal_(self.cls_token, std=0.02) def forward(self, x): B = x.shape[0] x = self.patch_embed(x) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat([cls_tokens, x], dim=1) x = x + self.pos_embed x = self.blocks(x) x = self.norm(x) cls_out = x[:, 0] return self.head(cls_out)这段代码故意省去了 dropout 等细节，方便看懂主流程。实际使用时，建议在 attention 和 MLP 里都加上 dropout，并设置一个独立的drop_path比率用于随机深度正则。
4.3 训练与调参要点
从零训练这个小模型时，我踩过最深的坑就是学习率。ViT 的优化曲面比 CNN 更敏感，直接用 1e-3 的常规学习率，loss 经常乱跳。我这里用 AdamW，初始学习率 3e-4，weight decay 0.05，batch size 32，训练 30 个 epoch，学习率用余弦退火降到 1e-5。
数据增强对 ViT 比 CNN 更重要。原因在于 ViT 缺少局部不变性先验，必须靠数据增强硬教它“翻转后的猫还是猫”。我用的是水平翻转、随机裁剪、颜色抖动这些简单组合。如果数据量还是太少，可以加入 MixUp 和 CutMix，这种强增强对 ViT 的训练稳定效果很好，但需要注意训练轮次也要相应拉长。
实际操作时我第一次训练跑了 10 个 epoch，验证集准确率只有 60% 出头，loss 还时不时回升。把学习率调低后稳定了很多。后来我总结出一个经验：ViT 训练中遇到不收敛，优先怀疑学习率，其次是位置编码出了问题或数据增强缺失，而不是盲目加模型层数。
训练脚本里建议每个 epoch 结束后输出一下“最后层的梯度范数”。如果梯度范数从正常值突然飙升，说明某一步 loss 太大，立刻减小学习率或检查数据标签是否错乱。这个习惯比盯 loss 曲线更有用，能提前发现要崩的迹象。
4.4 可视化 Attention：判断模型到底在看什么
训练完之后，不要只看准确率，强烈建议做一次注意力可视化。取模型最后一层[CLS]token 对所有 patch 的 attention 权重，reshape 成 14×14 的热力图，上采样回原图尺寸叠加显示。这一步能直观看到 ViT 关注的区域是不是目标本身。
我自己实验时遇到的一个典型现象：模型虽然是收敛的，准确率也还行，但热力图显示模型把注意力全放在图片四角上。排查后发现数据增强里的随机裁剪引入了大量角部水印信息，模型其实在靠水印分类，而不是在学物体本身。把水印去掉后重新训练，热力图才回到目标区域上，精度又涨了几个点。
这里顺便提醒：不要只挑一张注意力图好看的样本展示，要多看几张失败样本的 attention。失败样本通常能暴露更多问题，比如模型注意力分散、聚焦背景、或者只关注某个局部轮廓。这些信号比单张准确率更有诊断价值。
5. 实战案例：多模态图文匹配的完整实现
5.1 任务设定与数据准备
接下来做图文匹配任务。数据我模拟成了一个内容平台的产品库：商品图片和对应的商品描述文本，总样本数在 3000 左右，每张图配一段不超过 30 个词的中文描述。任务是给定一张商品图，从一堆描述文本中找到正确的那句。
数据准备的重点不是文件组织，而是 batch 策略。训练时每 batch 采样 B 对图片-文本，图片和文本分别编码后计算相似度矩阵。对角线为正样本对，其他位置全部当作负样本。理论上 batch size 越大，负样本越丰富，效果越好。我调试时先拿 batch=16 跑通，后面加到了 64。
文本预处理部分，我用的方式很朴素：中文按字切分，构建一个词表，每条文本截断或补齐到固定长度 32，用可学习的 embedding 层映射成 token 向量。工业上通常会预训练一个文本编码模型再迁移，但演示双塔原理的话，从零训练一个小文本塔也够用。
5.2 模型结构与相似度计算
图像塔直接复用上一节的 ViT，去掉分类头，输出一个 192 维的图像向量。文本塔用一层简单的 Transformer encoder，输入文本 token，输出取所有 token 的平均池化作为文本向量。两个向量都做 L2 归一化，保证相似度计算稳定。
相似度计算用点积除以温度参数。温度是可学习的标量，初始化为 0.07。这个参数很关键，它控制 softmax 分布的尖锐程度。温度太小，logits 会被放大，梯度爆炸；温度太大，正负样本梯度不明显，收敛极慢。核心代码如下：
image_feat = image_encoder(images) # [B, D] text_feat = text_encoder(text_ids, mask) # [B, D] image_feat = nn.functional.normalize(image_feat, dim=-1) text_feat = nn.functional.normalize(text_feat, dim=-1) logits = image_feat @ text_feat.T / temperature # [B, B] labels = torch.arange(logits.shape[0], device=logits.device) loss = nn.CrossEntropyLoss()(logits, labels)这里我只算了图片到文本方向，实际可以再对称地算一遍文本到图片方向的 loss 并取平均，训练会更稳定。对称版本就是第二项nn.CrossEntropyLoss()(logits.T, labels)，两个方向各算一次，对梯度噪声有平滑作用。
5.3 训练评估与推理链路
训练遇到的第一个问题是 loss 下降非常快，前两个 epoch 就从 4 降到 1.5，但继续训练时验证集 Recall@1 却涨得很慢。看了下细节，是文本塔太简单，模型很快就学会用几个词就找到对应图片，根本不需要细看图像。解法是把文本塔的 embedding 维度和层数都加大一点，同时给文本塔加上 dropout，逼它学更鲁棒的表示。
评估指标我用了 Recalls@K。公式很简单：每个查询图片，在整个测试集的文本库中按相似度排序，看正确文本是否出现在前 K 个结果中。我这边模拟训练了大概 20 个 epoch，测试集 Recall@1 接近 82%，Recall@5 超过 95%。这个数字不算高，因为文本塔是随机初始化的，没有使用任何预训练文本模型，但也足够说明双塔结构能跑通。
推理时最大的工程细节是向量库的构建。测试集的文本向量全部离线算好，存成矩阵；每次来一张查询图片，只算一次图像向量，然后和矩阵做一次矩阵乘法就能拿 top-k。我在 CPU 上测，文本库 500 条时单次查询耗时只有几十毫秒，完全够用。如果文本库到百万级，就需要换成向量检索库做 ANN 了，不过那超出本文范围。
5.4 多模态训练的几个提醒
我在这个案例上踩过的坑值得单独说几条。
第一，温度参数初始化千万别太小。有人喜欢把 temperature 初始化为 0.01 甚至 0.001，训练一开始 logits 数值巨大，交叉熵 loss 会先产生一个很大的梯度，直接把模型参数冲乱，后面再也稳不下来。建议从 0.07 开始，让它自己学。
第二，in-batch 负样本有一个隐蔽问题：如果同一个 batch 里恰好出现了不同文本描述同一张图片的情况，它们会被错误地当成负样本。我在数据清洗时专门做了一步去重，保证一个 batch 内同一图片最多出现一次。否则模型在学“同图不同文”的负例时信号是错的，效果会明显变差。
第三，双塔微调的显存开销比想象中大。因为相似度矩阵已经是 B×B，是一个平方存储，batch 从 32 变到 128，存储和计算都是 16 倍量级的变化。如果显存不够，优先考虑梯度累积而不是减小 batch，因为减 batch 会直接减少负样本数，对对比学习影响很大。
6. 常见问题与排查技巧实录
6.1 训练不收敛，Loss 震荡严重
这种情况在 ViT 和图文对比训练里都经常出现，症状就是 loss 曲线像心电图上蹿下跳。最常见原因是学习率过高，或者优化器参数里 weight decay 设得太大。可以把学习率直接除以 10 试试，如果曲线变平滑，说明之前确实冲过头了。
另一个隐蔽原因是 LayerNorm 和残差模块的数值精度。用混合精度训练时，ViT 对 fp16 比较敏感，容易出现 loss 不下降甚至 NaN。遇到这种情况，可以先把torch.cuda.amp关掉跑一次确认是精度问题，再换个自动缩放策略。某些显卡上还需要给 loss scaler 设置较大初始值才能稳住。
6.2 显存不足，模型太大跑不动
如果跑标准 ViT 显存爆掉，第一个手段是降低输入分辨率而不是改小 patch size。分辨率降低是线性减少计算量，而 patch 变小是平方增加注意力计算。比如 224 降到 160，token 数从 196 变 100，显存节省接近一半，精度损失通常可控。
第二个手段是梯度累积，模拟更大的 batch size。这个方法在普通分类任务里可以用，但多模态对比学习里效果打折，因为负样本来自同一 batch 内的真实配对，梯度累积不会增加负样本数量。这种情况如果只能选一个方案，我宁可降低 batch size，再配合混合精度训练。
还有一个小技巧：把 Transformer 层数里的 MLP 隐藏维度适当缩小。MLP 往往是参数大头，隐藏维度从 4 倍降到 3 倍，效果损失不大，显存和计算却能省不少。
6.3 微调预训练模型后效果反而不如 CNN
有一种情况很常见：加载了预训练 ViT，微调之后效果却连 ResNet 都不如。最先怀疑学习率。ViT 预训练模型对玩家友好的学习率范围很窄，一般从 1e-5 到 3e-4，直接用常用的 1e-3 基本上必崩。建议使用层衰减，让靠前的层用更小学习率，最后的分类头用最大学习率。
其次是解冻策略。如果数据量很小，不能一上来就全量解冻。可以先冻结整个骨干网络，只训练分类头，稳定后再解冻最后两三个 block，用更小学习率微调。这个过程要冷静，最多解冻一半层，不要把整个网络同时放开。
最后是数据增强和标签质量。ViT 没有空间不变性先验，标签错误的样本对它的伤害比 CNN 大得多。如果数据里有大量错标、噪声标签，ViT 会连噪声一起记下来，导致泛化差。此时先做数据集清洗，再用固定随机种子重训，往往比换模型更有效。
6.4 位置编码外推与分辨率适配
实际项目经常要把 ViT 用在不同分辨率上。位置编码是预训练时按 224 分辨率训练的，直接换到 384，token 数从 196 变成 576，位置编码矩阵对不上。标准的做法是把预训练位置编码双线性插值到新尺寸，但直接插值会在边界产生轻微形变。
我建议如果是长期微调，先把位置编码用插值初始化到新分辨率，然后冻结其他所有层，单独让位置编码适应新分辨率训练几个 epoch，再把全部层解冻微调。这个方法我试过几次，Resize 后收敛速度比直接全量微调快，最终精度也更高。
如果你在一个项目里反复切换多档分辨率，更推荐的做法是换用支持相对位置编码的变体模型，它们在多分辨率下不需要插值，天然适应输入尺寸变化。
6.5 多模态数据配对标错与噪声处理
多模态项目最常见的数据坑，不是模型结构问题，而是数据本身不匹配。比如商品图片配了用户评论区里有人提到的文字，但那段文字并不是这条商品的描述。这种凑巧的强负样本会直接教歪模型。
我的做法是先做一个预筛流程：用已有预训练多模态模型给每对图文算匹配分数，过滤掉分数过低的样本。如果没有任何预训练模型可用，也可以用规则过滤，比如文本里包含明显不相关的品牌词、规格词时直接丢弃。
文本侧也要统一处理和规范化，去掉 HTML 标签、多余的空格、emoji 残留。这些垃圾字符会以 token 的形式进入模型，不但浪费序列长度，还可能把注意力带偏。数据清洗花的精力，永远比调模型参数花得值。
7. 我个人的实操体会
最后分享一个我长期以来的观点：视觉 Transformer 和 CNN 不是二选一的关系，而是一个工具箱里不同侧面的工具。你有海量数据、强算力、需要多模态融合，ViT 一定是首选；你只有几千张图、目标是把系统快速落地，CNN 或者带预训练的 CNN 依然是稳妥方案。
实际项目里我的经验是：能加载预训练权重就绝不从零训练，这是省钱省力的第一原则；多模态项目先跑通双塔，再考虑交叉注意力融合，不要一上来就上最复杂的结构；遇到问题先怀疑数据和超参数，最后再动模型结构。把这两段代码跑通之后，你再去看多模态相关论文的源码，会惊喜地发现大部分结构你已经见过了，剩下的只是细节堆叠和工程优化。这也是我这篇文章最想达到的目的。
