在视觉Transformer这个赛道上，Swin Transformer绝对是一个绕不开的名字。2021年ICCV的最佳论文，提出的时间点刚好卡在ViT刚证明Transformer能用在视觉上、但还没能真正统治视觉任务的空档期。它用一种很优雅的方式解决了ViT的两个硬伤：特征尺度单一、计算复杂度随图像尺寸平方增长。这篇博客不是复述论文，而是从工程视角来拆解Swin Transformer的设计逻辑、关键实现细节和落地经验，当作一次完整的技术复盘记录。
1. Swin Transformer从哪来，到哪去
当时从NLP那边搬过来的ViT有一个先天问题：把整张图切成固定大小的patch，然后所有patch之间做全局自注意力，这无论从计算量还是从特征提取方式上看，都跟CNN习惯的“多尺度金字塔结构”差得很远。尤其是语义分割和目标检测这类需要pixel-level或者多尺度预测的任务，ViT的patch embedding输出就一个分辨率，根本没法直接做FPN（特征金字塔网络）或者UNet那种跨层特征融合。
Swin Transformer的核心思路可以概括成一句话：把Transformer变成一个通用的视觉骨架，而不是一个只能做分类的模型。它做了两件关键的事。第一，引入层级式特征图，像CNN一样逐层下采样，形成多尺度特征。第二，把全局自注意力限制在局部窗口内，然后用一个移动窗口机制来做跨窗口的信息交互。这两件事配合起来，效果就是既保留了Transformer建模长距离依赖的能力，又把计算复杂度压到了和图像尺寸线性相关。
本质上Swin Transformer是“CNN的多尺度思想”和“Transformer的自注意力机制”的结合体。它不是第一个做这种尝试的，但它是第一个把这两者结合得如此干净、如此好用的。后面很多模型都从它的设计里取经，比如ConvNeXt的反向提炼，比如InternImage对局部注意力的进一步泛化，都直接或间接受到了Swin的启发。
这篇博客的阅读对象，是那些已经在用CNN做视觉任务、现在想迁移到Transformer架构上的工程师和研究者。我会把Swin Transformer的组件拆开来讲，并且给出可以直接落地的经验。
2. Swin Transformer核心设计的“为什么”
2.1 为什么非要做层级式特征图
ViT把224x224的输入图片切成14x14个patch，每个patch有16x16的原始像素。之后所有的Transformer层都在14x14这个分辨率上做自注意力，最后接一个分类头，一个阶段搞定。这在ImageNet这种纯分类任务上没什么问题，但到了检测（需要多尺度anchor）、分割（需要高分辨率特征）、以及密集预测任务，就暴露问题了。
Swin Transformer把体系结构设计成了四个阶段，每个阶段都做一次patch merging，也就是下采样。你可以把patch merging理解成CNN里的步长为2的卷积，它把空间分辨率减半，特征通道数翻倍。这样就能拿到类似ResNet的C2、C3、C4、C5多尺度特征图。下游检测分割模型可以直接把FPN或者UNet的头部接上去，不需要任何额外的适配。
从实际的模型结构看，Swin-T的四层输出分别是56x56、28x28、14x14、7x7（输入为224x224时），对应的通道数是96、192、384、768。这个分辨率阶梯和ResNet50的C2到C5几乎一模一样，所以把Swin-T替换ResNet50的时候，FPN的输入通道配置只需要做很小的改动就能跑起来。
我在实际替换检测器backbone的时候，第一步就是确认四个stage输出的通道数是否匹配FPN的输入通道数。Swin-T刚好是96的倍数，跟ResNet的256这种设定不一样，所以除了第一个stage需要自己做一层卷积对齐维度之外，后面的嵌入基本是无痛的。
2.2 窗口注意力到底省了多少计算量
这是Swin Transformer最核心的贡献之一。全局自注意力的复杂度是输入token数的平方，对于一张224x224的图像，切成4x4的patch后是3136个token，复杂度是3136的平方。而Swin Transformer把注意力限制在7x7的窗口内，每个窗口只有49个token，假设有64个窗口，总复杂度是64乘49的平方，这比全局计算量小了两个数量级。
从复杂度公式上可以看得更清楚。全局注意力的复杂度是O(n^2·d)，其中n为token数量，d为通道维度。窗口注意力则把n替换为固定的M^2（M为窗口边长），复杂度变为O(n·M^2·d)。这意味着如果图像尺寸翻倍，全局注意力计算量翻四倍，窗口注意力计算量只翻一倍。这就是Swin能扛住高分辨率输入的原因。
窗口注意力唯一的风险在于，窗口之间完全没有信息交流。如果你把整张图切成一块一块的，每个窗口各算各的注意力，那一个窗口里的特征就永远看不到另一个窗口里的内容。这样一来，模型感受野就被锁死在窗口内，跟一个只在局部做卷积的CNN没区别了。Swin Transformer的解决方案是shifted window，它把窗口整体偏移几个patch位置，让相邻层的窗口覆盖区域发生变化，这样上一层窗口里的信息在下一层就能通过重叠区域传递到其他窗口。
2.3 Shifted Window和cyclic shift的巧妙之处
shifted window听上去简单，实际操作时有一个效率问题。如果直接把窗口往右下移两个patch，图片边缘会出现不完整的窗口，直接padding的话引入无效计算。Swin Transformer用了cyclic shift的做法，把左上角移动出去的部分绕到右下角补上。这样一来，在数学上每个窗口内的patch数量还是一致的，可以用统一的掩码mask处理掉本来不在同一区域内的pair，避免额外的计算开销。
常见实现里通常配一个attention mask，把不应该是邻居的patch对在softmax之前加一个负无穷的偏置，这样softmax注意力权重就会为0，实现“假装没看见”。
这里我踩过一个坑。手写实现移位窗口的时候，如果直接用torch.roll做cyclic shift，再调用window attention，你必须在attention计算里正确构造mask，否则窗口边缘的patch会跟对角线上的patch发生意外的信息泄露。我先用了一个笨办法，把cyclic shift后的窗口重新还原成原图再算注意力，速度非常慢，后来才改成官方那种预计算mask的方式，直接索引，效率提升非常明显。
2.4 相对位置编码在窗口注意力里的作用
Swin Transformer没有用ViT那种绝对位置编码（即加在每个token embedding上的可学习向量），而是用了相对位置编码，而且是在注意力计算中作为bias项加进去的。对每个窗口内部，我们记录任意两个token之间的相对位置偏移，构造出一个维度为(2M-1)x(2M-1)的相对位置索引表，然后用一个小型可学习参数矩阵来做查表操作，得到一个维度为M^2 x M^2的偏置矩阵。
为什么用相对位置不用绝对位置？因为窗口注意力本身是在移动的，如果给每个token绑定一个绝对位置，窗口一旦移动，同一个token在不同窗口里会有不同的位置含义，这会让位置编码产生混乱。相对位置编码只关心两个token之间的相对距离，这在窗口滑动时是一致的，所以更适合Swim的设计。
实际效果上，相对位置编码给分类任务的top-1精度带来了约1%的提升，看似不大，但在ImageNet这种成熟榜单上，1%已经很难得了。相对位置编码还天然具备一定平移等变性，让模型对物体位置的微小变化更加稳定。
3. 关键参数配置与计算复杂度实战解读
3.1 Swin-T、Swin-S、Swin-B的配置对照
Swin Transformer论文里给出了好几个不同规模的配置，工程上最常用的是Tiny和Base。Tiny主要用于快速验证和替换ResNet50，Base则对应ResNet101以上的容量。
我把这几个配置做了汇总，方便对照。
| 模型规模 | 通道数C | 窗口大小 | 每层head数 | 层数 | 参数量 | ImageNet Top-1 |
|---|---|---|---|---|---|---|
| Swin-T | 96 | 7x7 | 3, 6, 12, 24 | 2, 2, 6, 2 | 28M | 81.3% |
| Swin-S | 96 | 7x7 | 3, 6, 12, 24 | 2, 2, 18, 2 | 50M | 83.0% |
| Swin-B | 128 | 7x7 | 4, 8, 16, 32 | 2, 2, 18, 2 | 88M | 83.5% |
注意第三层的head数是第二层的两倍，这跟通道数的翻倍是同步的，每个head的维度始终保持在32。这个设计细节很多人会忽略，但它在维度对齐上非常关键，直接影响注意力计算是否高效。
3.2 从公式推导看为什么Swin能扛高分辨率
前面提到了复杂度公式。这里我展开一下，全局自注意力的计算量可以近似为4n^2d，其中n是token数，d是通道数。如果有224x224的输入，16x16的patch，那n等于196，早在ViT-Base架构里，这一层的计算量就已经不小了。当输入升到1024x1024，n会变成原像素patch数量的16倍，n平方就是256倍，几乎所有硬件都吃不消。
Swin把n变成窗口内的M^2，也就是固定为49，总计算量变成n_windows乘以49的平方乘以d，而n_windows会随分辨率增长，整体复杂度近似为线性。这一下就从O(n^2)降到了O(n)，所以Swin能够处理高分辨率医学影像或者卫星影像而不爆显存。
我用一张尺寸是1536x1536的遥感图像做过一次实验，在相同的推理代码下，ViT直接爆显存，Swin-B的显存占用还停留在可控范围内。如果你经常要处理超大图，选Swin基本不会错。唯一的代价是窗口交互需要多层堆叠才能覆盖到远距离，感受野增长会比全局注意力慢一些，所以Swin在需要超长距离依赖的任务上会有一定瓶颈。
3.3 窗口大小M的选择对精度和速度的影响
论文默认窗口大小是7x7。这个数字不是随便拍脑袋定的，我试着改过几次才体会到它的微妙。窗口太小，比如4x4，每个窗口内只有16个token，注意力能建模的局部关系太浅，精度会有明显掉点。窗口太大，比如12x12，虽然单个窗口内的全局性更强，计算量也会快速上涨，而且因为patch本身已经做了16倍下采样，12x12窗口覆盖的原始感受野已经非常大，在实践中增益并不像想象中那么明显。
Swin的窗口和patch大小是耦合的。Swin使用的patch大小为4x4，比ViT的16x16小很多，这样原始图片被切得细，划分的token数量大，窗口内的token也更多，局部信息保留得更好。在所有默认配置下，patch=4、窗口=7是一个经过反复验证的甜点值。
如果显存不足，我的建议是先降低通道数而不是减少窗口大小。窗口变小的精度损失比通道减半更直接，压缩通道数还能保持感受野的完整性，模型退化得也更平滑。
4. 架构演进与横向对比：Swin凭什么是最佳骨架
4.1 从R50到Swin，检测分割任务上的“省心”体验
在目标检测和实例分割领域，Swin替代ResNet成为backbone之后，下游任务几乎不需要额外适配。因为Swin设计之初就考虑到了和FPN、Mask R-CNN、Cascade R-CNN这些结构的兼容性，多尺度特征天然存在，只需要把输出交给FPN就行。
对比来看，如果把ViT强行动态调整到多尺度，需要额外设计复杂的空洞卷积或deconv结构，不仅工程量大，效果还不一定好。Swin的四个stage天然对齐FPN的P2-P5层级，这在工程上极其顺手，基本零适配成本。
在测试中，Swin-T接Mask R-CNN，COCO val上的box AP可以达到42.2左右，比ResNet50的38分直接高出了4个多点。这个提升是纯换backbone带来的，检测头没有动。当然代价是训练时间也会相应拉长，Swin的推理效率比起同等尺寸的ResNet还是慢一些，但换来的是明显的精度收益，这在很多业务场景是可以接受的。
4.2 Swin与ViT、ConvNeXt的横向对比
把Swin放在当时的生态里看，它的位置就很清楚。
| 模型 | 核心机制 | 计算复杂度 | 多尺度 | 下游任务适配 | 备注 |
|---|---|---|---|---|---|
| ViT | 全局自注意力 | O(n^2) | 无 | 需要额外适配 | 预训练数据要求高 |
| DeiT | 全局自注意力+蒸馏 | O(n^2) | 无 | 需要额外适配 | 数据增强要求高 |
| Swin | 窗口自注意力+层级结构 | O(n) | 有 | 天然适配 | ICCV 2021 Best Paper |
| ConvNeXt | 纯卷积 | O(n) | 有 | 天然适配 | 从Swin反向精简而来 |
ConvNeXt的出现恰恰印证了Swin的思想有多么领先。ConvNeXt在Swin的结构框架下，把Transformer的组件全部替换为卷积操作，最终得到的纯卷积模型在精度和速度上都能和Swin打平甚至略优。这说明Swin真正的贡献可能不只是Transformer本身，而是它的整体架构设计——多尺度、局部建模、层级交互，这套骨架本身就是高性能视觉模型的内核。
4.3 什么时候你其实不需要Swin
Swin虽然强，但不是所有场景都适合用。如果项目是纯分类任务，输入尺寸固定且不大，那Swin的层级设计和窗口交互优势就发挥不出来，直接用ViT-S/16可能更简单，毕竟ViT在分类任务上有先发优势，实现也简单。
如果任务是视频理解，每帧图像都要做patch embedding和窗口注意力，Swin的时间和显存开销会随视频帧数线性上涨。相比之下，Video Swin对时空联合建模做了特殊处理，直接拿图像版Swin做视频分类效果并不理想。
如果业务要求极致的低延迟推理，Swin的窗口移位和层级下采样带来的额外调度开销，可能比同精度的CNN模型要高。这时候量化友好的卷积网络往往更合适。选型建议很简单：一看任务，二看分辨率，三看延迟要求，最后再决定Swin是不是那个最优解。
5. 手撕关键实现：Swin Transformer核心代码走读
5.1 Patch Embedding与Patch Merging实现细节
Patch Embedding的作用是把原始图像切成patch并映射成embedding。Swin用的是4x4 patch size，输出通道数为C，所以本质上就是一个卷积核为4x4、stride为4的卷积层。这个操作既完成了切块，又完成了线性映射，一步到位。
import torch import torch.nn as nn class PatchEmbed(nn.Module): def __init__(self, in_channels=3, embed_dim=96, patch_size=4): super().__init__() self.proj = nn.Conv2d(in_channels, embed_dim, kernel_size=patch_size, stride=patch_size) self.norm = nn.LayerNorm(embed_dim) def forward(self, x): B, C, H, W = x.shape x = self.proj(x) # (B, embed_dim, H/4, W/4) x = x.flatten(2).transpose(1, 2) # (B, H/4*W/4, embed_dim) x = self.norm(x) return xPatch Merging则是在每个stage之间做下采样，相当于把2x2相邻的patch在通道维度上拼接起来，然后通过一个线性层把通道翻倍。它的效果类似stride=2的卷积，但特征保留更完整，因为并不是简单丢弃位置信息，而是显式地把空间信息压到通道里。
class PatchMerging(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.reduction = nn.Linear(4 * in_dim, out_dim, bias=False) self.norm = nn.LayerNorm(4 * in_dim) def forward(self, x, H, W): B, L, C = x.shape x = x.view(B, H, W, C) x0 = x[:, 0::2, 0::2, :] x1 = x[:, 1::2, 0::2, :] x2 = x[:, 0::2, 1::2, :] x3 = x[:, 1::2, 1::2, :] x = torch.cat([x0, x1, x2, x3], dim=-1) x = x.view(B, -1, 4 * C) x = self.norm(x) x = self.reduction(x) return x, H // 2, W // 2这里有个很容易写错的地方：做Patch Merging之前，一定要把token序列reshape成二维网格（H, W），否则隔行取样的逻辑会乱掉。
5.2 窗口注意力实现与attention mask构造
窗口注意力的实现，核心是把token序列按固定窗口大小切分，然后在每个窗口内部计算多头注意力。实现方法是用einops库的rearrange来切窗，非常清晰。
from einops import rearrange def window_partition(x, window_size): B, H, W, C = x.shape x = x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows = x.permute(0, 1, 3, 2, 4, 5).contiguous().view(-1, window_size, window_size, C) return windows def window_reverse(windows, window_size, H, W): B = int(windows.shape[0] / (H * W / window_size / window_size)) x = windows.view(B, H // window_size, W // window_size, window_size, window_size, -1) x = x.permute(0, 1, 3, 2, 4, 5).contiguous().view(B, H, W, -1) return xattention mask的构造是Swin里最容易绕晕的部分。移窗后，cyclic shift导致一些在空间上不相邻的patch被放到了同一个窗口里，注意力计算时要用mask把它们隔离。官方的做法是生成一个带区域编号的索引图，然后通过查表得到相对位置编码和mask矩阵。
def create_mask(window_size, shift_size, H, W): img_mask = torch.zeros(1, H, W, 1) h_slices = (slice(0, -window_size), slice(-window_size, -shift_size), slice(-shift_size, None)) w_slices = (slice(0, -window_size), slice(-window_size, -shift_size), slice(-shift_size, None)) cnt = 0 for h in h_slices: for w in w_slices: img_mask[:, h, w, :] = cnt cnt += 1 mask_windows = window_partition(img_mask, window_size) mask_windows = mask_windows.view(-1, window_size * window_size) attn_mask = mask_windows.unsqueeze(1) - mask_windows.unsqueeze(2) attn_mask = attn_mask.masked_fill(attn_mask != 0, float(-100.0)).masked_fill(attn_mask == 0, float(0.0)) return attn_mask把不相邻的patch对的注意力偏置设置为负无穷，这样softmax之后注意力权重趋近0，等信息被隔离了。注意这里负无穷的值在实际实现中一般取-100，太大或太小都会影响数值稳定性。
5.3 完整的Swin Transformer Block代码流程
一个Swin Transformer Block由W-MSA（窗口多头注意力）和SW-MSA（移位窗口多头注意力）交替组成。每个Block的结构是：LayerNorm -> 注意力 -> 残差 -> LayerNorm -> MLP -> 残差。MLP的隐藏层维度是输入维度的4倍，激活函数是GELU。
class SwinTransformerBlock(nn.Module): def __init__(self, dim, num_heads, window_size=7, shift=False): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = WindowAttention(dim, num_heads, window_size) self.norm2 = nn.LayerNorm(dim) self.mlp = nn.Sequential( nn.Linear(dim, 4 * dim), nn.GELU(), nn.Linear(4 * dim, dim) ) self.shift = shift self.window_size = window_size def forward(self, x, H, W): B, L, C = x.shape shortcut = x x = self.norm1(x) x = x.view(B, H, W, C) if self.shift: x = torch.roll(x, shifts=(-self.window_size//2, -self.window_size//2), dims=(1, 2)) windows = window_partition(x, self.window_size) windows = windows.view(-1, self.window_size * self.window_size, C) attn_windows = self.attn(windows) x = window_reverse(attn_windows, self.window_size, H, W) if self.shift: x = torch.roll(x, shifts=(self.window_size//2, self.window_size//2), dims=(1, 2)) x = x.view(B, L, C) x = shortcut + x x = x + self.mlp(self.norm2(x)) return x注意shift操作是正向roll之后计算注意力，计算完再反向roll回来，这样恢复原图的空间排布，方便下一层继续处理。
6. 训练与微调Swin Transformer的实战经验
6.1 从零训练和ImageNet预训练微调的差异
从零训练Swin是非常奢侈的事情。ImageNet-1K上Swin-T大概要300个epoch才能收敛到理想精度，硬件配置不够的话时间成本完全不可控。绝大多数实际项目都走的是“ImageNet预训练 + 下游微调”的路线。
微调Swin时有一个容易忽视的点：因为预训练时使用的是224x224输入，窗口划分和相对位置编码表都是基于224x224的，到了下游任务如果输入是384x384或者更大，窗口数量会变多，相对位置索引范围也会超出预训练时定义的参数矩阵范围。
好在Swin官方已经做了这个适配，微调时可以通过双线性插值来初始化更大的相对位置编码表。你自己的代码里也记得要处理这个逻辑，否则高分辨率输入会直接索引越界报错。
6.2 微调时的学习率设置与数据增强搭配
从我的实测经验看，Swin微调的最佳初始学习率一般在1e-5到3e-5之间，这比训练ResNet时要低一个量级左右。Transformer结构对学习率波动比CNN敏感得多，设置太高训练不稳定，设置太低收敛又太慢。配合linear warmup加cosine decay的调度策略，可以避免前期梯度震荡。
数据增强上，Swin对简单的随机裁剪和水平翻转适应良好，但不要一下子加减Mixup、CutMix、RandAugment这些重增强。Swin本身和ViT一样是数据饥渴型结构，预训练时已经把可用信息吃得很充分了，微调阶段再加太多强增强反而容易掉点。我试过在医学影像数据集上增加强增强，结果验证精度没有提升，反而训练时间变长了。
6.3 目标检测分割任务上的替换注意事项
如果用MMDetection或者MMSegmentation这类框架，把backbone换成Swin非常简单。但有几个配置细节需要注意。第一，输入尺寸尽量保持和预训练一致，如果必须用大图，就同时调大窗口尺寸或者patch size；第二，FPN的输入通道要和Swin各stage输出对齐；第三，Swin的stage输出顺序是P2到P5，而ResNet的输出是C2到C5，FPN期望的输入顺序是C2到C5，所以接入的时候需要按序传入。
backbone = SwinTransformer(embed_dim=96, depths=[2, 2, 6, 2], num_heads=[3, 6, 12, 24], window_size=7) neck = FPN(in_channels=[96, 192, 384, 768], out_channels=256)这里的in_channels对应Swin四个阶段的输出通道数，其他部分不需要改动。
7. 常见问题与排查技巧实录
7.1 排坑速查表
我在各个项目里用Swin的时候，几乎都遇到过一些相同的问题，直接整理成表格方便查阅。
| 问题现象 | 可能原因 | 排查方向与解决 |
|---|---|---|
| 训练不收敛，Loss震荡 | 学习率过高或warmup不足 | 降低学习率，加入线性warmup，检查输入归一化 |
| 高分辨率输入时索引越界 | 相对位置编码表尺寸不足 | 用插值方式初始化更大的相对位置编码表 |
| 显存不够 | 窗口内token数量大，或batch过大 | 降低通道数，使用梯度累积，减少窗口尺寸 |
| 精度比论文低很多 | 数据增强不足或训练epoch太少 | 加入RandAugment、EMA，增加蒸馏等训练策略 |
| Speed比ResNet慢 | 窗口移位和attention开销大 | 使用TensorRT加速，考虑用ConvNeXt等替代 |
| 不确定时窗口注意力mask写错 | 移窗还原后特征错位 | 可视化attention map，检查shift前后位置是否对齐 |
| 多卡训练速度上不去 | 窗口注意力通信开销大 | 增大batch size，用DDP时开启梯度压缩，检查数据加载 |
7.2 排障实录：高分辨率输入下相对位置编码扩展
我处理一张4K医学影像时，把图像切成patch后输入Swin-B，前向传播直接报了一个index out of range的错误。排查后发现是相对位置索引表的尺寸固定为(27-1)x(27-1)，窗口是7x7时，位置偏移范围是-6到6。但图像切出来的token数量远超原设计，某些操作的索引会超过这个范围，不是所有位置组合都能查表查到。
解决方法是直接按比例插值扩展相对位置编码表，把原表从13x13插值到更大尺寸。注意插值以后最好再做一次小的fine-tune，让模型适应新表的值域。经过这一步之后，高分辨率输入就顺畅了。
7.3 排障实录：窗口注意力变慢的根源与优化
有一次我把Swin-T接到一个视频检测任务里，发现训练速度比预期慢很多，定位到瓶颈在注意力模块。排查后发现问题不在窗口本身，而在GPU并行度不够。小窗口内只有49个token，矩阵乘法的规模小，GPU的算力没法完全铺开，大量时间花在了kernel launch和窗口切分的数据搬运上。
优化思路是增大batch size，让多个窗口的注意力计算一起跑，把GPU的并行度提上去。另一个思路是尝试把窗口注意力用flash attention的方式重写，减少中间矩阵的显存读写，但这会改动模型的内部结构，存在精度漂移风险。实测下来，最简单有效的还是增大batch size，通常能直接把吞吐量提上去不少。
8. 从Swin到下一代架构：个人使用体会
Swin Transformer之后，视觉架构的演进方向渐渐清晰。Swin v2用带log空间连续位置编码的方式，把模型规模扩展到30亿参数，同时提升了在更高分辨率上的稳定性。很多团队也做了类似Swin的层级窗口设计，只不过把窗口改成了可变形形式，比如按照内容动态分配计算资源，让模型在关注区域投入更多注意力，在背景区域省计算量。
我在实际业务中体会最深的一点是，Swin的窗口设计为视觉Transformer在高分辨率输入场景中打开了一条路。很多现实任务并不像ImageNet那样只有1000类图像分类，而是需要处理超大画幅、密集目标、复杂背景的输入。Swin的线性复杂度让这类任务有了可行解。
哪怕到了2025年，Swin Transformer仍然是很多高精度模型的首选骨架。它的设计理念——多尺度特征与局部性先验——已经深深融入现代视觉架构的基因里。如果你打算系统性掌握视觉Transformer，Swin是一个必须吃透的里程碑。
最后分享一个经验：落地Swin时，不要一上来就追求最大模型。先把Swin-T跑通整个流程，确认精度和延迟达标，再逐步放大模型、加大输入分辨率。窗口切换、相对位置编码的插值、mask的构造这些细节，早踩坑早解决，后面切换到大模型就顺滑很多。这个架构值得你在项目里认真用一次，理解它的设计哲学比背诵结构参数有用得多。
