简介：基于Python孪生神经网络的点选识别完整项目，自带数据集，面向希望学习深度学习与验证码识别技术的初、中级学习者，适合用于毕设、课程设计、工程实训或初期项目立项。项目通过孪生神经网络对点选文字区域进行相似度比对，在4090显卡上训练100轮后测试集准确率达98.6%以上，已基本覆盖常见点选验证码场景。压缩包共13个文件，约67.23MB，包含7个Python脚本，分别对应数据整理、模型搭建、训练与预测流程；另附环境依赖清单、配置文件、模型结构示意图和说明文档，方便快速搭建环境并理解代码逻辑。数据集以成对图片形式组织，每对包含同一对象的两张不同图片，可直接用于孪生网络的训练与验证。对于想深入研究图像匹配、度量学习或验证码识别的读者，这是一份可直接运行的参考代码。目前已有149人学习下载，适合具备一定Python基础并希望动手实践深度学习项目的用户进行二次开发和算法改进。
1. 孪生神经网络把点选识别从“检测”变成“比对”
点选识别在多数人印象里是目标检测的活，但在工业巡检、UI自动化和数据标注工具里，最常见的约束不是精度上限，而是每个目标类别只有一两张模板图可用。用 YOLO 这类检测器训练自己的数据集，一个类别至少准备两三百张标注图，点选场景根本凑不齐。孪生神经网络换了个思路：不数“它是什么”，只衡量“它像不像”，模板只有一张也能上场。这个特性让它在少样本定位问题上天然占优——场景图里出现多少个目标、遮挡多少，都用相似度响应来说话。本文按一条可落地的路径展开：数据集如何组织、网络怎么训练、推理怎么用卷积把匹配变成毫秒级的响应图，最后给一组真实工程里决定成败的调优手段。
2. 孪生神经网络的点选识别原理与数据集对样本构造
2.1 从“分类”到“距离”的范式切换
点选识别的本质是：给定一张目标模板图，在另一张更大的场景图中找出所有同语义位置并给出坐标。传统方案把它建模成“锚框回归 + 分类”，于是每个类必须有大量自带位置框的标注图。孪生神经网络把任务拆成两端共享权重的编码器，模板图和场景图分别经过同一个网络，得到两组特征；然后计算特征之间的距离或相似度，距离小于阈值就判定为匹配。
这个范式有两个直接好处。第一，类别是开放的，不需要预先定义“总共识别哪几类”，给一张新模板就能一像素级比对；某个场景里要新添一个目标，只需把模板图放进模板库，不用重新训练。第二，学习目标从“这个框是什么”退化成“这两个裁剪窗口是不是同一个目标”，天然适合样本量极少的场景。共享权重也保证了模板编码和场景编码落在同一特征空间，避免了两套网络各自漂移的问题。
因此，重点从“堆数据”转移到“构造对样本”和“设计度量方式”。训练孪生网络不需要整图标注，只需要成对的裁剪图和一个标签：同目标为正对，不同目标为负对。标注成本比检测器低一个数量级，这正是点选任务选择它的核心理由。
2.1.1 为什么不用检测器做少样本点选
检测器（Faster R-CNN、YOLO）的左膀右臂是数据增强和预训练，但二者都建立在“每类样本足够多”的前提下。点选识别里同一个模板在场景中可能出现两三次，总共十几张图，训练检测器极易把目标外观当作背景噪声过拟合掉。孪生网络不直接学“类内统计”，而学“两张图的关系”，单类样本少的问题被结构性规避了。
2.2 点选数据集的正负样本对怎么定义
点选数据集的构成不是一堆“图加标签”，而是一张配对表：每行记录img1, img2, label。label=1 表示两张图来自同一个物理目标，label=0 表示来自不同目标。这个定义决定了模型学到的距离语义，也决定数据采集的范围。
正样本对要注意覆盖真实场景中的变化：亮度、旋转、遮挡、拍摄角度、局部裁剪。为了让模型学会“同一个物件换个环境还是同一个”，建议每个采集目标至少拍三张环境差异大的图，两两组成正样本对。负样本对的构造更讲究，常见做法是同一个大场景里位置不同的目标互相配对，因为它们在背景光照上更接近，模型没法靠“亮度相似”偷懒。
采集节奏上，一般建议正负样本比例在 1:3 到 1:4 之间。负样本太少，模型学不到“边界”；负样本里全是完全无关的物体，模型又会偏向“颜色差不多就是正样本”。每过一轮验证，把被误判为目标的负样本追加进去，比一次性准备很多普通负样本更高效。
2.3 组织数据集的目录结构与配对脚本
拿到或自建数据集后，先按目标名分目录，再写脚本生成配对表。推荐目录结构如下：
dataset/ raw/ helmet/ helmet_001.jpg helmet_002.jpg helmet_003.jpg vest/ vest_001.jpg vest_002.jpg no_safety/ # 负样本池：场景里出现的干扰物 ladder.jpg toolbox.jpg pairs.csv下面这个脚本把raw/下按目标分好类的图片展开成训练所需的配对表：
import os import csv import random root = "dataset/raw" classes = ["helmet", "vest"] # 收集每个类别的全部图片路径 items = {} for c in classes: items[c] = [os.path.join(root, c, p) for p in os.listdir(os.path.join(root, c))] rows = [] # 正样本对：同一目标类内的不同图片两两配对 for c in classes: imgs = items[c] for i, a in enumerate(imgs): for b in imgs[i + 1:]: rows.append((a, b, 1)) # 负样本对：不同目标类之间随机配对，负样本量控制在正样本的3倍 for c in classes: other_classes = [cc for cc in classes if cc != c] neg_pool = [img for cc in other_classes for img in items[cc]] for img in items[c]: for _ in range(3): rows.append((img, random.choice(neg_pool), 0)) random.shuffle(rows) with open("dataset/pairs.csv", "w", newline="") as f: writer = csv.writer(f) writer.writerow(["img1", "img2", "label"]) writer.writerows(rows) print("生成配对样本数:", len(rows))这段脚本里正样本对用了同一类内的两两组合，负样本对不同类随机配对。label=1的配对会拉近两个特征，label=0的配对会推远两个特征。真实工程中还要把“非目标类”照片单独放进no_safety之类的目录，统一作为负样本池。当负样本类别多于正样本类别时，脚本里的other_classes列表能自动覆盖所有非自身类别，无需额外改动。
3. PyTorch 实现孪生神经网络训练：模型、损失与参数
3.1 共享权重的编码器结构
训练孪生网络不一定要深到 ResNet101，点选目标通常是一个裁剪窗口，几十像素到几百像素之间，编码器做到 8 倍下采样足够。下面这个结构在精度和速度之间比较平衡：三层卷积逐步把分辨率降到 1/8，再做 1x1 卷积映射到 256 维特征空间。
import torch import torch.nn as nn import torch.nn.functional as F class SiameseEncoder(nn.Module): """共享权重的孪生编码器，输出 L2 归一化的特征图""" def __init__(self, in_channels=3, embed_dim=256): super().__init__() self.features = nn.Sequential( nn.Conv2d(in_channels, 32, 3, stride=2, padding=1), nn.BatchNorm2d(32), nn.ReLU(inplace=True), nn.Conv2d(32, 64, 3, stride=2, padding=1), nn.BatchNorm2d(64), nn.ReLU(inplace=True), nn.Conv2d(64, 128, 3, stride=2, padding=1), nn.BatchNorm2d(128), nn.ReLU(inplace=True), ) self.embed = nn.Conv2d(128, embed_dim, kernel_size=1) def forward(self, x): x = self.features(x) x = self.embed(x) return F.normalize(x, p=2, dim=1)网络最后做了F.normalize，把每个空间位置的特征向量归一化到单位长度。这样一来，后续算余弦相似度天然落在 0~1 之间，不需要在损失函数里额外处理尺度问题。1x1 卷积的作用是跨通道融合，把 128 维语义特征扩展成 256 维度量特征，参数开销很小。
3.2 对比损失和训练循环
训练时传入三元组(anchor, positive, negative)：anchor 是一张目标图，positive 是同一个目标的另一张图，negative 是另一个目标或干扰物。损失函数让正对距离趋向 0，让负对距离至少大于 margin。
def contrastive_loss(anchor, pos, neg, margin=2.0): # 输入已经 L2 归一化，距离范围在 0~2 之间 d_pos = torch.norm(anchor - pos, p=2, dim=1) d_neg = torch.norm(anchor - neg, p=2, dim=1) loss = d_pos.pow(2).mean() + F.relu(margin - d_neg).pow(2).mean() return loss model = SiameseEncoder() optimizer = torch.optim.Adam(model.parameters(), lr=1e-4) for epoch in range(30): for anchor, pos, neg in dataloader: # 将特征图全局平均池化成向量后计算距离 a = F.adaptive_avg_pool2d(model(anchor), 1).flatten(1) p = F.adaptive_avg_pool2d(model(pos), 1).flatten(1) n = F.adaptive_avg_pool2d(model(neg), 1).flatten(1) loss = contrastive_loss(a, p, n, margin=2.0) optimizer.zero_grad() loss.backward() optimizer.step()损失函数里d_pos.pow(2)只惩罚正对距离，梯度会持续把正对压向 0；relu(margin - d_neg)在负对距离超过 margin 后梯度归零，模型就不会在这条负样本上继续浪费能力。margin 设 2 是因为特征已经归一化，最大可能距离为 2，整个负对距离的“及格线”天然设在了最严格的位置。
训练时的 dataloader 需要按pairs.csv读取图片，把每行(img1, img2, label)拆成两种角色：label=1 时 img1 作 anchor、img2 作 positive；label=0 时 img2 作 negative。一个朴素但有效的增强策略是随机亮度扰动和 15 度以内的小角度旋转，这两个增强能够显著提升点选场景的鲁棒性。
3.3 训练参数速查表
下表是点选识别场景下最值得先确定的几组超参数，我按经验从敏感度高的排到敏感度低的：
| 参数 | 推荐值 | 敏感度 | 说明 |
|---|---|---|---|
| margin | 2.0 | 高 | 归一化后的最大距离即 2，不建议改小 |
| embed_dim | 256 | 中 | 降到 128 会损失细粒度判别力 |
| batch_size | 32 | 中 | 正负对混合的 batch 稳定梯度 |
| 学习率 | 1e-4 | 高 | 超过 1e-3 容易梯度震荡 |
| 下采样倍数 | 8 | 中 | 16 倍下采样会丢失小目标信息 |
训练时只看 loss 曲线不够，每 5 个 epoch 拿 30 对验证样本数一数“正对平均距离”和“负对最小距离”。当两者不再重叠，说明模型已经把这两类分开了，可以直接进入推理阶段。
4. 点选识别推理管线：从模板到场景响应图
4.1 用卷积把滑窗匹配变成响应图
训练完成后，模板和场景图都过同一个编码器。理论上可以滑窗裁剪再逐一比较，但场景图 800x600、模板 64x64，滑窗要跑几百次前向，实时性完全不可用。常见做法是把模板特征图直接当作卷积核，对场景特征图做一次卷积，得到的就是逐位置相似度响应图。
def build_template_kernel(model, templ_path): """把模板图编码成卷积核形状 (1, C, h, w)""" img = load_image(templ_path) # 统一 resize 到 64x64 feat = model(img.unsqueeze(0)) # (1, C, h, w) return feat def locate_templates(scene_path, model, kernel, stride=8, topk=3): """输入场景图，输出响应图和前 topk 个峰值坐标""" scene_img = load_image(scene_path) # 保持原分辨率加载 scene_feat = model(scene_img.unsqueeze(0)) # (1, C, H, W) # 卷积核就是模板特征，conv2d 一次算完所有位置的余弦相似度 sim = F.conv2d(scene_feat, kernel, stride=1) # (1, 1, H-h+1, W-w+1) sim = sim.squeeze(0).squeeze(0) # 去掉 batch 和 channel 维 # 局部极大值抑制：比邻居都大的位置才可能是目标中心 peaks = F.max_pool2d(sim.unsqueeze(0), kernel_size=15, stride=1, padding=7) peak_mask = (sim == peaks.squeeze(0)) # 取前 topk 个峰值（按相似度排序） scores = sim[peak_mask] indices = torch.nonzero(peak_mask) if scores.numel() == 0: return None sorted_idx = torch.argsort(scores, descending=True)[:topk] pts = indices[sorted_idx].numpy() * stride return pts, sim这段代码有两个关键点。第一，模型输出的特征图经过 L2 归一化，conv2d的结果就是每个滑动窗口与模板的余弦相似度，省去了逐窗口计算范数的步骤。第二，max_pool2d做局部峰值检测，窗口 15x15 对应原图 120x120 像素（15 乘以 stride 8），意味着两个目标的中心距离少于 120 像素时只取响应更强的那一个。
4.2 多尺度匹配与坐标换算
模板图在场景中的尺度往往不同，比如施工安全巡检里，三米外的安全帽和一米外的安全帽像素尺寸差一倍。单个模板核无法覆盖这么大变化，常见做法是把模板 resize 成多个尺度，分别过编码器得到多组卷积核：
def multi_scale_kernels(model, templ_path, scales=(0.7, 0.9, 1.1, 1.3)): kernels = [] for s in scales: img = load_image(templ_path, resize=(int(64 * s), int(64 * s))) feat = model(img.unsqueeze(0)) kernels.append((s, feat)) return kernels # 每个尺度算一次响应图，插值回原分辨率后取逐点最大值 max_sim = torch.zeros_like(feature_map_norm) for s, kernel in multi_scale_kernels(model, "tpl.jpg"): sim = F.conv2d(scene_feat, kernel) sim = F.interpolate(sim, size=max_sim.shape[-2:], mode="bilinear") max_sim = torch.maximum(max_sim, sim)多尺度匹配的注意事项是：模板尺寸改变后，卷积核的h, w也在变，不同尺度输出的响应图分辨率不同，必须统一插值到同尺寸再取最大值。响应图的像素坐标乘 stride 得到的是特征图坐标，要还原到原图坐标时再乘一次编码器的实际下采样倍率；如果中间插值过，按插值比例折算。
4.3 阈值、漏检和误检的排查顺序
推理阶段误检的主要来源有三个，按排查顺序排列：
| 现象 | 原因 | 处理方式 |
|---|---|---|
| 场景图上出现大量低分峰值点 | 背景区域纹理和模板纹理局部相似 | 把阈值从 0.6 提到 0.75 再验证 |
| 目标尺度变化大但响应分不高 | 多尺度尺度列表覆盖不全 | scales 增加 0.8 和 1.2 以外的邻域值 |
| 两个目标靠得很近只检出一个 | max_pool 窗口太大 | kernel_size 从 15 降到 9 重新检测峰值 |
阈值本身不应该拍脑袋定。正确做法是准备 10~20 张带人工标注的场景图，画出每张图的相似度分数分布，取“召回率达到 90%、误检不超过 5 个”的分界值，这个值通常落在 0.7 附近。推理性能和阈值之间是直接对立的，目标应用对精确率要求高就往上调，对召回率要求高就往下调。多尺度匹配的代价是多次卷积，如果模板库里有 50 个目标，每次前向需要 50 次卷积，对 CPU 部署来说压力不小，一般建议只保留 scale 最大的那个核做首轮过滤，再用阈值筛掉明显不匹配的模板。
5. 点选识别调优三板斧：难例、预训练与阈值验证
点选识别项目上线前，优先做这三件事：难例挖掘、预训练初始化和阈值验证。它们都不需要改网络结构，却往往比换更深的骨干网络更有效。第一板斧是难例挖掘。训练中每轮记录负样本对的平均距离，把距离处于 0.8~1.6 之间、即接近 margin 边界的负样本挑出来，下一轮训练时让 dataloader 把它们出现的概率提高。这个操作让模型把精力集中在“难以区分的目标”上，而不是反复看完全不同的干扰物。实现时用一个字典记录每张图片的历史平均距离，采样时按距离权重抽样即可。
第二板斧是在通用小样本数据集上预训练。手写字符类数据集 Omniglot 有几百类字符，每类只有少量样例，本身就是孪生网络的标准练习场。先在上面跑 20 个 epoch 让编码器学会“笔画结构差异”这种通用特征，再换成点选数据集微调，收敛速度通常快一半以上，最终验证集上的正确率也高几个百分点。这个做法的本质是让网络起步时就拥有“比较图像”的通用能力，而不是从随机初始化开始摸索。
第三板斧是建一个可复现的验证流程。固定 10 张真实场景图，人工标注所有目标中心点；每次迭代后跑一遍推理，输出两个指标：top-1 命中率（排序最高的响应点是否落在标注中心 20 像素以内）和误触次数（响应分超过阈值但不是目标的位置数）。改动任何参数后只对比这两个数字，不对比训练 loss。用这三个指标卡住每次迭代，比一直看训练曲线的波动有效得多。
本文还有配套的精品资源，点击获取
