柱塞泵这东西，听起来像是机械课本里才会出现的名词，但干过液压设备维保的人都知道，它就是整个液压系统的“心脏”。泵头一坏，常见的故障表现就是压力上不去、噪声变大、系统抖动，严重的时候直接憋坏整条液压回路，产线一停就是按小时算钱的损失。我在实际项目里最头疼的一点是：柱塞泵的很多早期故障一开始并不明显，靠耳朵听、靠手摸、靠老师傅经验判断，很难量化；等真正坏到能听出来的时候，往往已经需要整体更换泵头了。
所以我才做了这个多模态信号迁移学习柱塞泵故障诊断项目。核心思路是同时采集泵体的振动信号和出口压力信号，用深度学习做特征提取和融合，再用迁移学习把实验室工况下训练好的模型适配到实际生产工况。简单说，就是让一个“在实验室认识所有故障”的模型，到了现场换了个转速、换了负载之后，依然能准确判断泵到底有没有毛病。这套方案兼顾了工业场景里两个特别现实的问题：一是单一传感器信号不够可靠，二是现场工况和实验工况永远不一样。全文的代码都是用PyTorch写的，我把自己调试过程中踩过的坑也一并整理了出来，适合刚入行做设备健康管理或者故障诊断算法的新手，也适合已经在做迁移学习但还没往多模态融合方向尝试的工程师。下面直接进入正题。
1. 项目整体设计与思路拆解
1.1 柱塞泵故障诊断难在哪里
先说一个容易被忽略的背景：轴向柱塞泵在运转的时候，内部的柱塞要跟随斜盘旋转往复运动，一个泵里通常有七个到九个柱塞，每个柱塞都在高压油液里高速滑动。正常状态下的振动信号和压力脉动信号本身就有很强的周期性和谐波成分，一旦某个柱塞的滑靴松动、配流盘磨损、或者出口阀出现泄漏，这些周期性信号就会被叠加上了冲击分量和异常边频带。
麻烦在于：不同故障类型在时域和频域的表现经常是重叠的。比如滑靴松动会产生高频冲击振动，配流盘磨损会导致压力脉动幅值异常增大，而轴承外圈磨损产生的故障特征频率又和某些柱塞通过频率靠得很近。单靠一路信号很难把这些模式区分开。我以前用纯振动信号跑过一个分类模型，效果在实验室能到九十几的准确率，换到现场数据上直接掉到八十以下。原因很明确：现场转速、负载、油温都不一样，样本分布变了，模型却还是按实验室分布去分类。
1.2 为什么必须做多模态而不是单模态
多模态信号融入的核心考量，是让不同传感器从不同物理角度去观测同一个故障。振动信号捕捉的是机械冲击和结构共振，压力信号反映的是容积效率和内部密封状态。这两个维度天然互补。我用一个实际例子说明：配流盘严重磨损时，泵的容积效率下降，压力脉动信号会明显出现底部削平和直流分量的波动，而振动信号在这个阶段反而是相对平稳的；反过来，柱塞滑靴早期松动时，高频振动冲击已经很明显了，但压力信号可能还看不出什么变化。如果只守着一种信号，要么漏报，要么误报。
融合方式上，我没有选择把原始信号直接拼成长向量塞进网络，而是采用了特征级融合：两种模态各自过一套编码器提取特征，然后在特征空间里用注意力机制加权融合。这样做的优势是可以保留每个模态的内部结构，又能在融合阶段让网络自主决定当前样本该更信任哪一个模态。具体架构后面有一整节来讲，这里先记着一个结论：特征级融合在迁移场景下的鲁棒性，比数据级拼接和决策级投票都要好。
1.3 迁移学习解决的是工业场景里的哪个痛点
工业现场和实验室的分布差异，是所有故障诊断模型落地的拦路虎。实验室里故障是人工注入的，固定转速、固定负载、环境安静、传感器安装标准；到了实际设备上，转速随工况变化，负载随时在变，管路里还有各种工业噪声。这时候如果直接部署源域模型，性能大概率崩盘。
迁移学习解决的就是“分布漂移”的问题。本项目采用域对抗（Domain Adversarial Neural Network, DANN）的典型路线：特征提取器要把源域和目标域的数据映射到一个共同的特征空间，同时分类器在这个空间里准确分类源域的故障类型，而域判别器无法分辨特征到底来自哪个域。特征提取器一边骗域判别器，一边帮分类器干活，最后学出来的特征就具备了跨域不敏感的特性。
这个方案跟另外两条常见路线相比也有明确优势。微调（Fine-tuning）需要一定比例的目标域标注数据，但现场故障样本往往是极度稀少甚至为零的。MMD类方法需要精心调核函数且高维特征上表现不太稳定。域对抗的方法只要目标域有原始信号就行，不需要任何标签，这在工业场景里太加分了。
2. 数据准备与预处理实操
2.1 传感器安装与同步采集方案
我先说采集方案，因为数据质量的好坏直接决定后面模型能到多高的上限。本项目选用的双模态信号是加速度振动信号和出口压力脉动信号。振动传感器安装在泵体端盖靠近配流盘的位置，用磁座吸附，测量方向选泵体的轴向；压力传感器通过测压接头接入出口管路，尽量靠近泵出口，缩短管路距离，避免压力波在长管路里衰减。
两路信号共用一个采集卡，采样率统一设置为10kHz。这个采样率的设定有讲究：柱塞泵柱塞通过频率通常在几百赫兹，而早期故障激发的结构共振频段能到3~5kHz，10kHz的采样率可以覆盖这些关键频段，又不至于数据体量过大。同步问题上，两路信号使用同一触发源进行硬触发同步采集，保证振动和压力的时间戳严格对齐。如果采用软触发或者两套采集设备，时间偏差超过一个采样周期，融合特征的相位关系就会被破坏，后面怎么调模型都救不回来。
2.2 样本窗口构建：长度、重叠率与转速的关系
原始信号是连续采集的长序列，需要切分成固定长度的样本喂给网络。我的做法是滑动窗口切割，窗口长度2048点（也就是0.2048秒），重叠率50%。
这里有个参数计算的例子。采样率10kHz，转频按常见工业工况1500rpm计算是25Hz，每个轴的旋转周期是0.04秒。0.2048秒的窗口大约包含5.12个轴旋转周期，这样每个样本既能覆盖多个柱塞工作周期，又不至于太长导致分类器混淆不同工况的信息。重叠率50%是为了做数据增广，同时也避免了故障冲击刚好出现在窗口边界而被截断的问题。实际切出来，源域每类故障大约600个样本，五类故障一共3000个样本；目标域同样切出3000个样本，训练阶段只用它的特征，不给标签。
2.3 信号预处理：很多人忽略的几步
预处理看起来简单，但实际上决定了后续训练是否顺利。我的处理流程分四步：第一步去趋势，消除传感器温漂和采集中产生的直流偏移；第二步带通滤波，振动信号用5Hz到5kHz的带通，压力信号用5Hz到500Hz的带通，把高频噪声和超低频漂移都挡掉；第三步做z-score标准化，注意是采用“全局统计量”，也就是用源域数据的均值和方差去标准化目标域数据，不能用目标域自身统计量做标准化，否则会泄漏目标域分布信息，迁移实验就失去了意义；第四步剔除异常样本，比如设备启停瞬间产生的冲击样本。
值得多说一句的是，我见过很多项目直接在原始数据上做min-max归一化到[0,1]，在常规分类问题里这是可行的，但在迁移场景下会出问题。因为源域和目标域的幅值分布不一样，min-max会放大幅值差异。z-score至少保留了分布形状的相对信息，在域对抗训练中更容易对齐。
2.4 训练集与验证集的组织逻辑
本项目的实验场景设定如下：源域采样工况为转速1400rpm、出口压力10MPa、油温45℃，故障类别五类：正常、柱塞滑靴松动、配流盘磨损、斜盘磨损、出口阀泄漏。目标域采样工况为转速1800rpm、出口压力14MPa、油温50℃，同样是五类故障。源域用于有监督训练，目标域全程只用无标签特征，仅在最终评估时使用目标域标签计算准确率。
这个设定的意义很贴近实际：现场人员不可能为了模型训练专门去改变设备工况，实验室能做的故障注入和各种工况组合，到了现场往往只有一个固定的日常工况。所以源域数据要尽可能覆盖多工况，目标域特指那个没有工况切换条件的实际部署环境。实验中我还会把目标域随机抽出10%并标注，做一组“微调”对比实验，作为性能参照。
3. 多模态网络架构与迁移学习算法实现
3.1 双模态特征编码器：振动用CNN，压力也用CNN但更浅
先说设计动机。振动信号里的故障特征往往是短时冲击和共振边频带，一维卷积天然适合捕捉这种局部波形模式，并且计算量适中。压力信号的大部分有效信息集中在低频段，波形相对平滑，不需要特别深的网络去提取，用浅层CNN就够了。
振动编码器结构如下：三层一维卷积，每层之后接BatchNorm和ReLU，卷积核尺寸从7逐渐缩小到3，通道数从32翻倍到128。下采样不用普通stride，而是用AdaptiveAvgPool1d，这样输入长度稍有差异也不会导致维度报错。压力编码器只有两层卷积，通道数32和64，结构上更轻量。这样设计的另一层考虑是：两个编码器输出的特征维度都是256维，方便在融合阶段对齐。
import torch import torch.nn as nn class VibrationEncoder(nn.Module): def __init__(self, out_dim=256): super().__init__() self.features = nn.Sequential( nn.Conv1d(1, 32, kernel_size=7, stride=1, padding=3), nn.BatchNorm1d(32), nn.ReLU(inplace=True), nn.AdaptiveAvgPool1d(512), nn.Conv1d(32, 64, kernel_size=5, stride=1, padding=2), nn.BatchNorm1d(64), nn.ReLU(inplace=True), nn.AdaptiveAvgPool1d(256), nn.Conv1d(64, 128, kernel_size=3, stride=1, padding=1), nn.BatchNorm1d(128), nn.ReLU(inplace=True), nn.AdaptiveAvgPool1d(128), ) self.head = nn.Sequential( nn.Flatten(), nn.Linear(128 * 128, out_dim), nn.ReLU(inplace=True) ) def forward(self, x): return self.head(self.features(x)) class PressureEncoder(nn.Module): def __init__(self, out_dim=256): super().__init__() self.features = nn.Sequential( nn.Conv1d(1, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm1d(32), nn.ReLU(inplace=True), nn.AdaptiveAvgPool1d(512), nn.Conv1d(32, 64, kernel_size=3, stride=1, padding=1), nn.BatchNorm1d(64), nn.ReLU(inplace=True), nn.AdaptiveAvgPool1d(256), ) self.head = nn.Sequential( nn.Flatten(), nn.Linear(64 * 256, out_dim), nn.ReLU(inplace=True) ) def forward(self, x): return self.head(self.features(x))实际项目里我把输入张量的形状统一为(B, 1, 2048)，也就是batch在第一位，单通道，2048个采样点。两路Signal在进入编码器前各自做一次unsqueeze补上通道维，就能直接复用这套结构。如果后续想加入电机电流作为第三模态，模仿PressureEncoder再加一个浅层编码器即可，融合模块不需要改动。
3.2 注意力融合模块：让模型自己决定信任哪个模态
多模态融合在这套架构里是最关键的一环。我选择了基于注意力的加权融合：两个模态的256维特征拼接描述后，用一个全连接层生成每个模态的标量权重，再经softmax归一化，最后对两个模态特征加权求和。
这比简单拼接多了一个优势：可解释性。训练结束后我可以直接查看注意力权重，判断模型在某种故障下更依赖振动还是压力。比如在滑靴松动故障上，振动模态的注意力权重明显更高，这与物理直觉一致，也给了现场工程师一个验证模型的抓手。
class AttentionFusion(nn.Module): def __init__(self, feat_dim=256, num_modalities=2): super().__init__() self.attn = nn.Sequential( nn.Linear(num_modalities * feat_dim, feat_dim), nn.ReLU(inplace=True), nn.Linear(feat_dim, num_modalities) ) def forward(self, feats): # feats: list of [B, feat_dim] stack = torch.stack(feats, dim=1) # [B, M, feat_dim] B, M, F = stack.shape flat = stack.reshape(B, M * F) scores = self.attn(flat) # [B, M] weights = torch.softmax(scores, dim=1) # [B, M] weighted = stack * weights.unsqueeze(-1) # [B, M, F] return weighted.sum(dim=1) # [B, F]这个模块非常轻量，参数量就是两个全连接层。训练初期注意力权重接近均匀分布，随着loss下降会自动分化出模态偏好。我再补充一个技巧：如果发现模型崩溃式地完全忽略某个模态，可以在注意力权重后加一个温度系数，先以较高的温度让权重平滑，训练后期再降低温度放大差异。
3.3 梯度反转层与域判别器：域对抗的核心
DANN的核心机制是梯度反转层（Gradient Reversal Layer, GRL）。前向传播时这个层就是恒等变换，反向传播时梯度经过它会被乘以一个负数，再往特征提取器方向传。这样的效果是：分类器正常引导特征提取器学习可分特征，域判别器引导特征提取器隐藏域信息，矛盾在一起构成了对抗。
class GradientReversal(torch.autograd.Function): @staticmethod def forward(ctx, x, alpha): ctx.alpha = alpha return x.clone() @staticmethod def backward(ctx, grad_output): return -ctx.alpha * grad_output, None class DomainDiscriminator(nn.Module): def __init__(self, feat_dim=256): super().__init__() self.net = nn.Sequential( nn.Linear(feat_dim, 128), nn.ReLU(inplace=True), nn.Linear(128, 64), nn.ReLU(inplace=True), nn.Linear(64, 1) ) def forward(self, x): return self.net(x)域判别器的输出是单节点，配合BCEWithLogitsLoss使用。二分类的逻辑是：源域样本域标签为0，目标域样本域标签为1。特征提取器收到来自域判别器的反转梯度后，会朝着“让判别器分不清来源”的方向更新。
需要注意，alpha并不是固定为1。训练早期直接上满强度对抗，特征提取器很容易崩掉。我的做法是让alpha从0线性增长到1，随训练进度动态调整，相当于先让特征提取器把分类任务学好，再逐步加强域混淆压力。
3.4 完整训练循环与损失函数设置
训练阶段的优化目标由两部分组成：源域上的多分类交叉熵损失，加上目标域和源域之间的域对抗损失。总的优化目标可以写成：
在第一部分里，分类器只对源域的融合特征做预测并计算交叉熵；域判别器则对两个域的融合特征分别输出域预测，计算二分类交叉熵。梯度反转层接在域判别器上游，同一个loss就同时完成了“判别器尽力分辨”、“特征提取器尽力混淆”两个方向的优化，不需要为判别器单独设置优化器。
def train_one_epoch(src_loader, tgt_loader, encoder, fusion, classifier, grl, dom_disc, cls_criterion, dom_criterion, optimizer, alpha, device): encoder.train() fusion.train() classifier.train() dom_disc.train() total_cls_loss = 0.0 total_dom_loss = 0.0 for (src_xv, src_xp, src_y), (tgt_xv, tgt_xp, _) in zip(src_loader, tgt_loader): src_xv, src_xp, src_y = src_xv.to(device), src_xp.to(device), src_y.to(device) tgt_xv, tgt_xp = tgt_xv.to(device), tgt_xp.to(device) src_fv = encoder.vib(src_xv) src_fp = encoder.pre(src_xp) tgt_fv = encoder.vib(tgt_xv) tgt_fp = encoder.pre(tgt_xp) src_feat = fusion([src_fv, src_fp]) tgt_feat = fusion([tgt_fv, tgt_fp]) # 源域分类损失 src_out = classifier(src_feat) cls_loss = cls_criterion(src_out, src_y) # 域对抗损失，通过GRL让特征提取器混淆域信息 dom_src = dom_disc(grl(src_feat, alpha)) dom_tgt = dom_disc(grl(tgt_feat, alpha)) dom_target = torch.cat([ torch.zeros(src_feat.size(0), 1), torch.ones(tgt_feat.size(0), 1) ], dim=0).to(device) dom_input = torch.cat([dom_src, dom_tgt], dim=0) dom_loss = dom_criterion(dom_input, dom_target) total_loss = cls_loss + 0.5 * dom_loss optimizer.zero_grad() total_loss.backward() optimizer.step() total_cls_loss += cls_loss.item() total_dom_loss += dom_loss.item() return total_cls_loss / len(src_loader), total_dom_loss / len(src_loader)这里的0.5系数是调节对抗强度和分类稳定性之间的平衡。我试过直接给1.0，特征空间对齐得更彻底，但分类精度掉得也明显；给0.3分类保留较好但对齐不足。0.5在我的数据上是相对均衡的点。更讲究一点的做法是给域对抗损失单独配一个学习率，让判别器更新得更快一点，我是为了简单所以采用梯度反转+单一优化器的方案。
4. 训练实验与结果评估
4.1 实验超参数与硬件环境
实验在单块GPU上完成，batch size设为64，使用Adam优化器，初始学习率0.001，每20个epoch乘以0.5衰减，总共训练100个epoch。源域3000个样本正好47个batch，目标域不参与分类只参与域判别，一个epoch完整过一遍源域和目标域。
特征维度256，分类器只有一个全连接层输出5类概率。整个模型的可训练参数量大约是120万个，训练一个epoch约3秒，100个epoch大概5分钟就能跑完。这个体量对工业场景很友好，即使后续部署到边缘计算盒子上，单次前向推理时间在CPU上也不到10毫秒。
4.2 指标体系与三组对照实验
准确率、混淆矩阵和F1分数，作为目标域数据的核心评估指标。为了解释清楚每个设计到底贡献了多少，我做了三组对照实验：第一组是不做任何迁移，只拿源域数据训练，直接在目标域上测试；第二组在同样双模态结构和训练流程上，去掉迁移组件，改用目标域10%的标注数据做微调；第三组就是完整的双模态DANN方案。
对比结果如下表所示，数字均来自我本地实验，供参考。因为训练过程有随机性，每列数字都是三次运行取平均：
| 方法 | 目标域准确率 | 正常类F1 | 滑靴松动F1 | 配流盘磨损F1 | 斜盘磨损F1 | 出口阀泄漏F1 |
|---|---|---|---|---|---|---|
| 仅源域训练（无迁移） | 73.6% | 0.81 | 0.64 | 0.70 | 0.69 | 0.75 |
| 目标域10%标注微调 | 87.2% | 0.93 | 0.79 | 0.85 | 0.82 | 0.90 |
| 双模态+DANN（无目标域标签） | 94.1% | 0.97 | 0.88 | 0.92 | 0.91 | 0.96 |
这个结果清楚说明了两件事。第一，直接跨工况部署模型不可行，准确率只有73.6%，也就是说三分之一的目标域样本会被分错；第二，DANN在不使用目标域标签的情况下，比使用10%目标域标签微调的方案还高了近7个百分点。这在工业上有实际意义：现场往往连10%的故障样本都标不出来。
4.3 特征分布可视化：为什么DANN有效
我截取了训练结束后的特征嵌入，用某种降维算法投影到二维平面观察分布。未做迁移时，源域和目标域的特征云团明显分离，属于同一故障类别的样本被工况差异拆开；做了DANN迁移后，两个域的特征云团纠缠到一起，同类别样本跨域聚类，分类边界自然就统一了。
这个现象对应到机理上：域对抗迫使特征提取器丢掉只对工况敏感的信息，保留那些真正与故障机理相关的本质特征。比如振动特征里的冲击间隔、压力特征里的脉动波形形态，这些信息在转速变化时具有一致性。
4.4 单模态与双模态的消融对比
再单列一组模态对比实验，全部使用DANN迁移机制，仅改变输入的模态组合，结果如下：
| 输入信号 | 目标域准确率 |
|---|---|
| 仅振动信号 | 88.7% |
| 仅压力信号 | 85.3% |
| 振动+压力（多模态） | 94.1% |
双模态比最好的单模态高了5.4个百分点，提升主要来自两类故障：配流盘磨损和出口阀泄漏。配流盘磨损是压力特性敏感性故障，出口阀泄漏本身在压力信号上表现微弱但会产生高频扰动，两个模态在不同故障上交替发挥作用，融合之后覆盖率达到最大。
5. 常见问题与排查技巧实录
5.1 报错与数据形状问题
最常见的运行时报错集中在输入形状上。我自己的项目里就遇到过直接把2048点信号喂给编码器，忘记添加通道维度，导致Conv1d报“expected 3D input, got 2D”的错误。解决方法是统一封装数据加载流程，在每次取batch后检查张量形状。
另一个坑是AdaptiveAvgPool1d的输入输出长度换算。早期的代码里我用了固定stride的池化，导致输入长度必须严格等于2048，如果数据源换了采样率或窗口长度，就必须改网络结构。换成AdaptiveAvgPool后，输入长度不受限制，扩到其他设备时省了很多事。这类问题排查最快的方式是：写一个简单的模块小测试，随机生成一个(B,1,2048)的张量跑一遍前向，确认输出维度符合预期以后再进训练循环。
5.2 域对抗训练不收敛或震荡
DANN训练不收敛是我踩得最深的一个坑，症状是源域分类准确率很快到98%，目标域准确率却在不断波动，甚至越训越差。原因基本锁定在alpha调度上。alpha从0直接设为1时，梯度反转强度过大，特征提取器刚学到一点判别性就被对抗信号打乱，导致分类边界迟迟稳定不下来。
修法就是线性调度，比如执行轮数乘以0.01，让对抗强度在前50轮内缓慢爬升。另一个策略是给域判别器增加Dropout层，防止判别器能力过强导致特征提取器被迫退化。
判断训练是否正常，我习惯同时记录两个指标：域判别准确率是否逐渐向50%接近，以及源域分类准确率是否保持温和上升。健康的DANN训练曲线是源域准确率缓慢爬升、域判别准确率从接近100%掉向50%左右。如果域判别准确率降得过快，说明特征空间被过度压缩，可以适当降低域损失权重。
5.3 负迁移：什么时候迁移会让效果变差
把实验室行为直接套到现场，还有可能换来一个负迁移的尴尬结果。负迁移指的是迁移学习之后的目标域性能比完全不迁移还差。我在实验中发现，当源域和目标域的物理特性差异太大时，比如转速从1400rpm变成1200rpm但负载方向完全改变，强制域对齐会抹掉那些真实的故障特征差异，导致分类器丢失辨别力。
对症的方案是引入相关的相似性度量，或者先计算源域和目标域特征的初始分布距离，如果距离明显高于域内同类样本的分布距离，就果断放弃对抗对齐，改走“通过少量目标域标签微调”的路线。工业项目里没有“万能的迁移算法”，一切以实际数据为准。
5.4 类别不平衡与标注噪声
柱塞泵故障数据天然存在类别不平衡：正常样本占到总样本的一半，故障样本本来就少，某些故障类别可能只有二三十个可用样本。我在源域构造数据时专门做了类别平衡，每种故障的样本数量保持一致。如果确实无法做到，训练时给分类损失加上类别权重，或者对少数类做简单的随机过采样。
标注噪声是另一个容易忽视的问题。故障类型标签往往由现场人员根据经验填写，不同人员对轻微磨损程度的判断不一致，直接拿这些标签训练会把分类边界搞得非常乱。我的做法是：训练前对样本做一次聚类，将明显与标注矛盾的样本先挑出来人工复核，宁可删掉可疑样本也不要污染模型。
5.5 新工况扩展示的一些建议
这个项目默认了目标域是一个固定的未知工况。如果目标域数据是流式更新、工况会随时变化，我建议在DANN基础上增加两个改动：一是每隔一段时间用新的目标域数据对模型做增量更新，alpha退回到0重新开始；二是加入在线域判别准确率监控，当判别准确率重新超过80%时，说明数据分布已经发生明显变化，自动触发重新训练或增加采集密度。
如果还要进一步把项目推上线，则建议把融合注意力模块的权重导出，做成特征级重要性报表，给现场工程师提供“在这个工况下模型主要依据哪路信号做出判断”的信息。这在设备管理系统中很有价值。
最后再分享一点我的个人感受
做这个项目前，我一度觉得迁移学习是个被发论文专用的概念，直到把模型真正放到不同工况的数据上测试，才知道等分布假设不成立时，单靠调参根本无法挽回性能崩塌。实际调试中让我印象最深的不是模型有多花哨，而是“数据的物理意义决定算法的上限”这句话的含金量。如果你手上正好有一台可以采集数据的柱塞泵，我建议先把数据同步、工况划分、样本构建这些基础环节做扎实，再跑迁移模型；如果数据质量不行，再精巧的网络结构都是空中楼阁。这个项目的代码和思路后续还可以继续扩展：加入电机电流和温度信号构成三模态，或者把域对抗改成更现代的Transformer骨干网络，迁移效果还会有提升空间。希望这篇记录对你有实际帮助。
