VCP-CLIP

文章目录

• Abstract
• Introduction
• Related Work
• • Prompt learning
  • Zero-shot anomaly segmentation
• Method
• • Problem Definition
  • The design of baseline、
  • The design of VCP-CLIP
  • • Pre-VCP
    • Post-VCP
  • Training and Inference
  • • Loss Function
    • Inference
• Experiment
• • Experimental Setup
  • Comparison with the State-of-the-art
  • Unified text prompting vs. visual context prompting
  • Ablation Studies
• Conclusion
• SK

paper
code

Abstract

最近，像CLIP这样的大规模视觉语言模型在零样本异常检测（ZSAS）任务中展现出巨大潜力，通过统一的模型直接对任何未见过的产品进行异常检测，仅需精心设计的文本提示。然而，现有方法通常假设待检测的产品类别已知，因此需要为不同产品定制特定的文本提示，这在数据隐私场景下难以实现。此外，即使是同一类型的产品，由于具体部件和生产流程的差异，也会表现出显著的不同，给文本提示的设计带来了重大挑战。为此，我们基于CLIP提出了一种用于ZSAS任务的视觉上下文提示模型（VCP-CLIP）。VCP-CLIP的核心思想是利用视觉上下文提示来激活CLIP的异常语义感知能力。具体而言，我们首先设计了一个Pre-VCP模块，将全局视觉信息嵌入文本提示中，从而消除了对产品特异性提示的需求。接着，我们提出了一种新颖的Post-VCP模块，该模块利用图像的细粒度特征对文本嵌入进行调整。在对10个真实工业异常分割数据集进行的大量实验中，VCP-CLIP在ZSAS任务上取得了最先进的性能。

Introduction

在工业视觉检测领域，零样本异常分割（ZSAS）旨在无需依赖任何预定义的训练数据，即可准确定位并分割新产品的异常区域。由于在涉及数据隐私或标注数据稀缺的场景中具有显著的应用潜力，ZSAS已受到研究人员越来越多的关注[5, 8, 10, 33]。与传统异常分割方法[27]不同，ZSAS需要具备强大的泛化能力，以适应不同工业检测任务中视觉外观、异常物体和背景特征上的显著变化。

现有基于CLIP的方法与VCP-CLIP的对比。VCP-CLIP引入了Pre-VCP模块和Post-VCP模块，相较于现有的基于CLIP的方法提供了显著的改进。(a)现有基于CLIP的方法。(b) VCP-CLIP

最近，CLIP [22] 已成为解决ZSAS任务的视觉-语言基础模型。如图1(a)所示，现有的基于CLIP的方法将图像与其对应的两分类文本映射到一个联合空间中，并计算余弦相似度。与缺陷相关文本具有高相似性的图像区域被视为异常。例如，WinCLIP [10]、AnVoL [8] 和 APRIL-GAN [5] 通过多尺度滑动窗口或拼接图像，提取密集的视觉特征，并通过两分类文本提示设计分别对正常和异常图像区域进行对齐。然而，现有基于CLIP的方法[5,8,10,33]在实际应用中面临诸多挑战。一方面，以往方法[5,8,10]假设被检测图像的产品类别（例如木材）事先已知，并利用该信息设计产品特定的文本提示（例如一张正常的木材照片）。但在数据隐私场景下，产品类别难以获取或不可预测，导致这些方法无法使用。此外，我们进行了一项实验，将文本提示中的产品类别（名称）替换为WinCLIP中语义相似的术语，例如用“容器”或“器皿”替代“瓶子”。结果显示，在平均精度（AP）指标上，分割性能的变化幅度可达±8%。这促使我们重新思考产品名称在文本提示中的重要性，尤其是考虑到某些产品名称具有歧义性（例如VisA[35]数据集中的pcb1、pcb2、pcb3）。即使在同一产品类别中，由于具体组件的不同以及生产流程的差异（如外观颜色、尺寸和制造材料等），也会导致显著差异。最近，AnomalyCLIP[33]尝试设计一种与对象无关的文本提示，但其将所有产品名称替换为统一描述“物体”，从而在适应复杂工业场景时面临挑战。另一方面，若不进行交互地将图像和文本分别映射到联合空间[5, 10, 33]，则难以实现不同模态之间的相互理解，且容易导致图像对特定文本提示过度拟合。如图1(a)所示，当输出图像和文本嵌入直接对齐时，该方法在理解不同模态方面能力有限，从而影响异常分割的性能。

为解决上述问题，本文针对ZSAS任务提出了一种基于CLIP的直观视觉上下文提示（VCP）模型，该模型简单且高效。如图2(a)所示，在辅助数据集中对有限的已见产品（如腰果和PCB1）进行训练后，我们旨在对新颖（未见过）的产品（如瓶子和榛子）执行异常分割。现有方法[5, 10]依赖于图2(b)中手动定义的文本提示。本文采用图2©中的统一文本提示作为基准，其中产品类别被设定为连续可学习的标记。图2(d)所示的预VCP模块是基线模型的升级版本。它引入了全局图像特征，以更准确地编码文本空间中的产品类别语义。为便于理解全局图像特征，本文提出了一种深度文本提示（DTP）技术来优化文本空间。与基线相比，Pre-VCP实现了从统一提示向图像特定提示的转变，显著降低了提示设计的成本。为了增强不同模态之间特征的相互理解，进一步提出了Post-VCP模块，该模块根据细粒度的视觉特征调整输出文本嵌入。这一方法进一步增强了CLIP准确分割异常区域的能力。

综上所述，我们针对ZSAS任务提出了一种基于CLIP的视觉上下文提示模型（VCP-CLIP）。如图1(b)所示，我们从图像编码器中提取全局和密集的图像嵌入。前者通过预VCP模块后被整合进输入文本提示中，后者则用于异常分割中的细粒度图像特征。此外，还设计了一个后VCP模块，利用细粒度的视觉特征更新文本嵌入，有效促进不同模态之间的相互理解，并进一步提升模型对新产品的泛化能力。最终的异常图同时融合了原始文本嵌入与密集图像嵌入所对应的分割结果，有助于进一步提升分割性能。

本工作的主要贡献如下：

1. 我们提出了一种基于CLIP的新型视觉上下文提示模型，即VCP-CLIP，用于解决ZSAS问题。通过在有限数量的已知产品上进行训练，VCP-CLIP能够定位任何未知产品的异常情况，即使产品类别未知。与当前的文本提示方法[5, 8, 10, 33]相比，我们的方法利用视觉上下文提示，充分激活了CLIP的异常语义感知能力。
2. 我们首次揭示，在ZSAS任务中，视觉上下文为文本提示提供了额外信息。具体而言，Pre-VCP和Post-VCP模块分别设计用于利用全局和细粒度的图像特征进行文本提示。
3. 在对10个真实工业异常分割数据集进行的广泛实验中，VCP-CLIP在对未见过产品进行异常分割时表现出优于零样本性能的优势。

Related Work

Prompt learning

提示学习最初应用于自然语言处理（NLP）领域，旨在利用成本较低的标注数据自动生成提示，从而提升基础模型（如CLIP[22]、GPT-3.5[21]和LLaMA[28]）在下游任务中的性能。CoOp[23]首次在CLIP模型中引入提示学习，通过文本空间中的可学习提示标记实现这一目标。VPT[11]和ZegCLIP[34]在图像编码器的每一层插入可训练嵌入，以优化图像空间，使其更好地适应下游语义分割任务。这些方法旨在通过提示学习使预训练的主干网络适应目标领域。近期的研究中，CoCoOp[32]和DenseCLIP[24]通过视觉上下文提示引导预训练主干网络适应目标领域。与我们的VCP模块相关的CoCoOp，将视觉上下文融入文本提示中，以提升对新类别分类性能。然而，与CoCoOp不同，我们的VCP是在文本提示中替换产品类别，而非整个句子。所提出的方案在ZSAS中已被验证为比CoCoOp更有效，而后者无需事先了解产品类别。

Zero-shot anomaly segmentation

随着CLIP[22]和SAM[13]等基础模型的发展，ZSAS越来越受到研究人员的关注。根据是否需要训练辅助数据，现有方法可大致分为两类。

1. 无需训练的方法。基于CLIP、WinCLIP[10]和AnVoL[8]，精心设计文本提示以识别异常情况，而无需在辅助数据集上进行训练。前者采用窗口化方法，通过调和聚合技术，将不同尺度窗口内图像的分类结果进行汇总。后者则在图像编码器中使用V-V注意力替代原始的Q-K-V注意力，以提取细粒度特征，并在测试阶段以自监督方式对每张图像进行自适应调整。SAA/SAA+[4]利用语言引导Grounding DINO[16]检测异常区域，再使用SAM对检测结果进行精细分割。然而，这些现有方法不仅需要更复杂的提示设计或后处理，而且在推理过程中还带来了额外的计算和存储负担。

2. 需要训练的方法。APRIL-GAN[5]、CLIP-AD[6]和Anomaly-CLIP[33]利用带标注的已见产品作为辅助数据，对CLIP进行微调，以实现对未见过产品的ZSAS检测。这些方法采用线性层将图像的局部特征映射到文本与视觉的联合空间，从而便于不同模态之间的对齐。

AnomalyGPT [9] 是另一项开创性研究，它利用大型语言模型 Vicuna [7] 来引导模型识别异常。通过在合成的异常图像上进行监督预训练，AnomalyGPT 能支持多轮对话，并在未见过的产品中定位异常。然而，现有方法均忽视了视觉上下文在细粒度多模态对齐中的作用，在面对复杂的工业异常分割场景时可能表现不佳。最近，ClipSAM [14] 作为 CLIP 和 SAM 的集成，已被用于 ZSAS 任务中的跨模态交互。但这种两阶段预测方式增加了模型的复杂性。

Method

Problem Definition

我们的方法遵循了文献[5, 33]中采用的通用ZSAS方法，该方法要求在对已知产品Cs进行训练（使用像素标注）后，对未见过的产品Cu中的异常进行分割。在训练阶段，模型基于两类文本描述——正常和异常——生成逐像素分类结果。在测试阶段，模型应能直接对未见过的产品中的异常进行分割。值得注意的是，Cu与Cs的交集为空，且训练和测试所用的产品来自不同的数据集。这无疑对模型的领域泛化能力提出了重大挑战。

The design of baseline、

现有的基于CLIP的改进方法存在三大主要缺点：1）手动设计文本提示耗时且劳动强度大；2）针对特定产品的文本提示无法适应数据隐私场景；3）本地化结果容易受到文本提示中产品类别语义的影响[33]。为解决上述问题，我们提出了一种基线方法，该方法融合了两种核心设计：统一文本提示（UTP）和深度文本提示（DPT）。如图3所示，给定输入图像X ∈ Rh×w×3以及两分类的文本提示，所设计的基线方法（以红色虚线标出）首先分别提取图像特征和文本特征。然后，将图像特征在局部空间中映射到一个联合空间，在该空间中计算图像特征与文本特征之间的相似性，以生成异常图。最后，通过上采样将来自图像编码器多个中间层的异常图进行融合，得到最终结果。

统一文本提示（UTP）。用于生成正常和异常文本提示的统一模板设计如下：

其中，vi,i ∈{1, 2, ·· · r} 是一个嵌入到词嵌入空间中的 C 维可学习向量，用于学习产品类别的统一文本语境。一对相反的[状态]词语，例如“good/damaged”和“perfect/flawed”，分别用于生成正常和异常的文本提示。H 表示在文本空间中对应特定提示的词嵌入矩阵。本文选择了一组常见的状态词对，即“good/damaged”。

深度文本提示（DTP）
在输入文本编码器之前，我们先简要回顾一下CLIP文本编码器的推理过程。在将文本提示输入编码器前，分别在文本提示的开头和结尾添加[SOS]和[EOS]，以表示句子的开始和结束。随后，这些标记被映射到一个离散的词嵌入空间中，并在CLIP中截断为固定长度77。我们将词嵌入记为[s, H, e, J] ∈ R77×C，其中s和e分别是对应[SOS]和[EOS]标记的C维词嵌入向量，J是一个初始化为零的占位矩阵，用于确保词嵌入的固定长度。最终，在[EOS]标记位置处输出的文本嵌入，经过线性投影层后与图像特征对齐。

为了更好地将细粒度的正常与异常视觉语义与文本对齐，深度文本提示设计用于进一步优化文本空间，如图3所示。具体而言，在文本编码器每一层的文本嵌入开头插入可训练的连续嵌入。假设文本编码器的第i+1层表示为Layertext i+1，则插入的嵌入为Pi ∈ Rn×C，输出文本嵌入为g。该过程可表述如下：

其中 i = 1, 2, …, Nt，s0 = s，H0 = H，e0 = e。Nt 表示文本编码器的层数。TextProj(·) 和 Norm(·) 分别表示最终的文本投影和层归一化 [1] 层。对于正常和异常的文本提示，我们分别将 DTP 后的嵌入表示记为 gn 和 ga。由于文本编码器采用了掩码自注意力机制，[si, Pi, Hi, ei, Ji] 与 [si, Hi, Pi, ei, Ji] 在数学上并不等价。我们采用前者，因为模型只能关注自身之前的标记，因此将可学习的嵌入置于句子开头，有助于在文本空间中实现更高的精细度。更多细节见附录 B.2。

如何获取异常图？对于输入图像 X ∈ Rh×w×3，从图像编码器的各层中提取出 patch-level 视觉特征图 Zsl ∈ RH×W×dI，其中 H = h/patchsize，W = w/patchsize，dI 为图像嵌入的维度，B 为提取的中间 patch-level 特征层数量。随后，将这些特征图映射到一个联合空间，并通过计算余弦相似度，使用单个线性层将其与文本嵌入对齐。我们分别将联合空间中的视觉和文本特征表示为 Fsl ∈ RHW×C 和 Ft = [gn, ga] ∈ R2×C，其中 C 为联合空间中的嵌入维度。获取异常图的过程可表述为：

其中，τ1 表示温度系数，被设定为可学习的参数。Up(·) 是一种采用双线性插值的上采样操作。(~·) 表示沿嵌入维度的L2归一化版本。

The design of VCP-CLIP

基线模型取得了一些进展，但仍面临以下三个主要问题：1）统一的文本提示未考虑特定的视觉上下文；2）统一文本提示可能存在过拟合现象；3）不同模态信息之间的交互不足，限制了分割性能的进一步提升。为此，我们进一步设计了两个新颖的视觉上下文提示模块，即预VCP和后VCP，如图3所示。与基线相比，预VCP模块将图像的全局特征编码到文本提示中；后VCP模块则接收来自图像编码器的区域级特征以及来自文本编码器的文本特征作为输入，以生成异常图。

Pre-VCP

我们设计了一个Pre-VCP模块，旨在将全局图像特征引入基线模型的文本提示中。由于CLIP在预训练过程中对图像-文本对进行了大量对齐，图像编码器的[CLS]标记位置的嵌入包含了丰富的全局图像特征。我们将这些全局图像特征与基线中的可学习向量相结合，以促进其与统一类别上下文的融合。具体而言，全局图像特征首先通过一个小型神经网络（即Mini-Net）映射到词嵌入空间，表达为{xi}ri=1 = h(x)，其中xi ∈ R1×C，i = 1, 2, ·· · r表示映射结果，并与对应乘积类别的嵌入进行组合：

其中 zi = xi + vi。对于 Mini-Net h(·)，采用了一种参数高效的结构，仅使用一个一维卷积层，并结合 (r, 1 × 3) 核。基于 Pre-VCP 的最终文本提示可表示如下：

为便于后续文本的表述，我们将文本提示模板称为“一张[状态] [z(x, v)]的照片”。

Post-VCP

为了进一步使文本嵌入能够根据细粒度的图像特征进行自适应，我们设计了如图3所示的后VCP模块。从每一层获取的文本嵌入 Ft ∈ R²×C 和展平后的视觉嵌入 Zsl ∈ RHW×dI，被投影到一个 C 维的潜在空间中。随后可学习的查询 Qt、键 Ksl 和值 Vl s 可以得到：

其中，Wtq ∈ RC×C、Wk s ∈ RdI×C、Wsv ∈ RdI×C 是预投影层中的线性投影矩阵。为了捕捉更丰富的视觉特征以进行文本微调，采用多头结构计算注意力图，并通过矩阵乘法在每个头中更新文本特征：

其中 m = 1, 2, …, M。M 表示头部数量，Q(m) t ∈ R²×(C/M)，Kl(m) s ∈ RHW×(C/M)，Vl(m) s ∈ RHW×(C/M) 分别表示在沿嵌入维度进行划分后，每个头部内的特征。Al(m) t ∈ R²×HW 和 Ol(m) t ∈ R²×(C/M) 分别表示通过图像特征在每个头部中更新后的注意力图和文本特征。随后，使用 Concat(·) 操作将所有特征沿嵌入维度拼接，并采用权重矩阵 Wto ∈ RC×dI 的 PostProj 层，从 Ft 得到最终更新的文本嵌入 Otl ∈ R²×dI。然后，计算更新后的异常图如下：

其中，τ2 是一个设定为可学习参数的温度系数。

Post-VCP模块注意力图的可视化结果

为了直观验证Post-VCP模块的有效性，我们展示了不同头部对应的正常和异常文本嵌入的注意力图Al(m) t。这些图表明，与正常文本嵌入相比，异常文本嵌入更集中于图像的缺陷区域。这种清晰的区分源于Post-VCP模块在更新文本嵌入时采用了细粒度的视觉上下文，将文本嵌入从Ft更新为Otl。

Training and Inference

Loss Function

在本工作中，我们采用焦点损失[15]和Dice损失[18]来监督VCP-CLIP的学习过程。VCP-CLIP的总损失函数计算如下：

其中损失函数由两个部分组成，一部分用于基线，另一部分用于额外的VCP模块。M1l 和 M2l = 1, 2, …, B 是从上述两个分支生成的异常图。S ∈ Rh×w 是对应输入图像的地面真值。

Inference

最终的异常图由图像编码器的不同层次通过加权求和生成。从两个分支生成的异常图分别表示为M1和M2。为了进一步提升ZSAS的能力，我们引入了一种加权融合策略来生成最终的异常图Ma = (1 − α)M1 + αM2，其中α ∈ [0, 1]是融合权重，作为超参数设计，用于平衡不同异常图的重要性。

Experiment

Experimental Setup

数据集与评估指标
为评估模型性能，我们使用了十个真实工业异常分割数据集，包括MVTec-AD[2]、VisA[35]、BSD[25]、GC[17]、KSDD2[3]、MSD[31]、Road[26]、RSDD[29]、BTech[19]和DAGM[20]。由于VisA中的产品与其他数据集不重叠，因此我们以VisA作为训练数据集，用于在其他数据集上的评估。对于VisA本身，我们先在MVTec-AD上进行训练后再进行评估。更多详细信息请参见附录C。为确保比较的公平性，我们采用像素级AUROC（受试者操作特征曲线下面积）、PRO（区域重叠率）和AP（平均精确率）作为评估指标，遵循近期相关研究[5, 6]的方法。

在实验中，我们默认采用由OpenAI[22]预训练的CLIP模型与ViT-L-14-336。具体而言，我们将提取图像级特征的层数B设置为4。由于图像编码器包含24个Transformer层，因此从第6、12、18和24层均匀提取图像特征。所有图像均被调整为518×518分辨率后输入图像编码器。各文本编码器层中可学习的类别向量r的长度和文本嵌入n的长度，默认分别设为2和1。Post-VCP模块中的注意力头数M设为8。不同异常图的融合权重α默认设为0.75。使用Adam优化器[12]，初始学习率为4e-5，模型以32为批量大小连续训练10个周期。所有实验在单台NVIDIA GeForce RTX 3090上完成。我们进行了三次不同随机种子的运行，并取平均结果。更多详细信息见附录A。

Comparison with the State-of-the-art

我们采用两种先进的方法进行对比：无需训练的方法和需要训练的方法。无需训练的方法包括 WinCLIP [10] 和 AnVoL [8]，这些方法不需要辅助数据集来微调模型，但需要更复杂的手动提示设计和推理流程。需要训练的方法包括 CoCoOp [32]、AnomalyGPT [9] 和 APRIL-GAN [5]，它们遵循在已见产品上训练、在未见产品上测试的协议。

定量比较。表1展示了VCP-CLIP在ZSAS数据集上与其他前沿方法的定量性能对比。最佳结果以粗体显示，次优结果则用下划线标出。可以看出，所提出的VCP-CLIP在所有指标上均优于其他方法，尤其在AP指标上表现突出。由于Visa数据集存在极小的异常区域，其异常分割任务更具挑战性。然而，VCP-CLIP仍相对于其他方法保持了优势。值得注意的是，该方法在VisA数据集上取得了最先进的性能，AUROC得分为95.7%，PRO得分为90.7%，AP得分为30.1%。值得指出的是，我们的基线方法已接近并超越了现有方法（如CoCoOp）的表现，后者同样在文本提示中引入了全局图像信息。这是因为我们的方法能够同时利用细粒度的图像特征对文本嵌入进行调整。

为了更直观地理解结果，我们在图5中将VCP-CLIP的异常分割结果与其他五种方法——WinCLIP[10]、AnVoL[8]、CoCoOp[32]、AnomalyGPT[9]和APRIL-GAN[5]——在MVTec-AD和VisA数据集上的表现进行了可视化对比。可视化结果清楚地表明，所比较的方法往往会产生不完整或误报的结果，这可能对异常定位性能产生负面影响。相比之下，我们的VCP-CLIP有效缓解了这些问题，为ZSAS提供了更准确、更可靠的方法。更多定量与定性对比结果见附录D。

Unified text prompting vs. visual context prompting

为了更好地验证VCP-CLIP的有效性，我们将其与在MVTec-AD和VisA数据集上提出的基准方法进行比较。图6展示了VCP-CLIP相对于基准方法在各产品上的平均准确率（AP）提升情况。具体而言，在MVTec-AD和VisA数据集中，VCP-CLIP在15个产品中的13个以及12个产品中的10个上均表现出不同程度的提升。这证实了VCP-CLIP具有良好的泛化能力，其优势源于Pre-VCP阶段的全局视觉上下文以及Post-VCP阶段的细粒度局部视觉上下文。

训练和测试时使用不同的提示。为了验证VCP-CLIP在不同文本提示下的鲁棒性，我们在MVTec-AD和VisA数据集上采用了与训练时不同的文本提示。具体而言，在训练过程中使用了默认的状态词“good/damaged”；而在测试阶段，当状态词分别为“normal/abnormal”、“perfect/flawed”和“pristine/broken”时，我们报告了AP指标。如图7所示，我们的基线性能在两个数据集上急剧下降，而VCP-CLIP的性能则保持相对稳定。这表明，引入VCP后，模型能够根据输入图像自适应地调整输出文本嵌入，从而避免依赖于训练时使用的特定文本提示。

Ablation Studies

为了评估不同组件对VCP的影响，我们在MVTec-AD上进行了实验。表2中的结果展示了单独使用DTP、Pre-VCP或Post-VCP时的性能表现。值得注意的是，当所有组件结合使用时，VCP的性能达到最优。可以看出，相比Pre-VCP，移除Post-VCP后性能下降更为明显。我们还尝试从文本编码器的每一层中移除可学习的文本嵌入（不使用DTP），结果导致AUROC下降0.3%，PRO下降0.6%，AP下降1.2%。这是因为原始文本空间无法直接理解图像的全局特征，而DTP能够对每个文本编码器层进行深度微调，从而促进不同模态之间的相互理解与融合。

不同图像编码器层的补丁级特征对性能的影响。在表3中，我们研究了来自不同图像编码器层的补丁级特征对VCP-CLIP性能的影响。实验在MVTec-AD数据集上进行。直观观察发现，来自中间层（即第12层和第18层）的图像特征对最终分割结果的贡献更大。而来自较低层（如第6层）的特征过于低级，来自较高层（如第24层）的特征则过于抽象，其效果不如中间层显著。然而，我们观察到所引入的层数与分割结果的提升之间存在正相关关系。为了保持高性能，我们在VCP-CLIP中采用了第6、12、18和24层的所有补丁级特征。

在文本提示设计中进行消融实验。如表4所示，我们考虑了两种常用的文本提示模板，并探讨了不同提示状态词对所提出的VCP-CLIP在MVTec-AD数据集上影响的大小。具体而言，我们设计了以下两种文本提示模板：1）这是一张[状态]的[z(x, v)]照片；2）一张[状态][z(x, v)]的照片。状态词（例如“完美/缺陷”）分别插入模板中，以生成正常和异常的文本提示。可以观察到，对于相同的模板但使用不同的状态词时，我们的VCP-CLIP模型始终表现出相似的性能，验证了其对状态词的鲁棒性。此外，第二种类型的模板在VCP-CLIP中默认使用，总体上优于第一种类型，这可能归因于在标准CLIP预训练过程中反复使用了类似的模板。

在不同预训练模型和分辨率下进行消融实验。在表5和表6中，我们对输入图像分辨率变化以及预训练骨干网络对MVTec-AD的影响进行了全面分析。前者的测试使用ViT-L-14-336，后者则报告了由OpenAI预训练的不同骨干网络下的最优性能。同时对单张图像（共200张图像的平均值）的推理时间进行了测试。结果表明，输入图像分辨率适度提高有助于实现更精确的分割（AP更高）。然而，当分辨率偏离原始预训练分辨率（336×336至798×798）时，模型性能会下降。这一现象可归因于模型偏离了原始图像空间。表6的结果显示，我们的VCP-CLIP在ViT-L-14-336上实现了最佳的分割性能。因此，我们选择该模型作为默认的骨干网络。

Conclusion

本文提出了一种新颖的零样本异常分割（ZSAS）方法——VCP-CLIP，该方法通过集成视觉上下文提示（VCP）实现。其核心思想是将更丰富的视觉知识融入文本空间，并实现文本与视觉特征之间的跨模态交互。具体而言，设计了预VCP和后VCP模块，分别将全局和细粒度的图像特征引入文本空间。通过这一设计，我们的模型无需任何先验知识即可直接对新产品的异常进行分割。在10个真实工业级异常分割数据集上开展的大量实验表明，VCP-CLIP在ZSAS任务中达到了前沿水平的性能。

SK

UTP： 构建文本 Prompt 模板，引入可学习的类别 Token。所有类别共用v1,v2，不对各个类别进行专门设置prompt
Pre-VCP： 将图像 CLS 特征融入 UTP 的类别 Token，使 Prompt 随输入图像动态变化，解决UTP无法区分类别问题
DTP： 在 CLIP 文本编码器的 Transformer 层中额外插入可学习 Token（在句子前因为模型只能关注自身之前的标记），优化文本特征空间（gn,ga)。
s p h e j
DTP 的作用是让模型在保持预训练 CLIP 主干冻结的情况下，通过少量可训练参数调整文本特征的表达方式，使其更适合正常/异常的细粒度区分

Baseline： 多层 Patch 特征与 (g_n、g_a) 直接计算余弦相似度，生成异常图 (M_1)
Post-VCP：通过交叉注意力利用局部 Patch 特征动态更新文本表征gn,ga，再与 Patch 特征计算余弦相似度，生成异常图 (M_2)

最后，多层异常图融合，再进行双分支加权

Attention(Q, K, V) = Softmax(Q · K^T / √d_k) · V qk相似度/k维度缩放再softmax归一化最后对v进行加权求和