简介：面向时间序列缺失值插补的实战型代码包，适合具备Python与深度学习基础、希望用TensorFlow 2复现RNN、CNN、Seq2seq与GAN组合模型的数据科学学习者。内容围绕Kaggle Wikipedia Web流量预测数据集展开，给出循环卷积Seq2seq、以生成对抗方式训练插补器，以及同时优化真实误差与对抗损失的半对抗模型三种配置，便于对比不同损失结构与训练策略。压缩包约3.01MB，页面标注文件总数为0、类型明细暂无，实际内容需以解压结果为准。已有1428人学习下载。读者可据此理解缺失值插补的数据管道搭建、模型组织与对抗训练排错思路，并在此基础上做复现实验和结构改造。
1. 缺失值的陷阱：为什么“填得最准”的模型反而毁掉下游任务
时间序列插补这件事，最容易被误解成回归问题。直觉上就是把缺口填得尽量接近真值，于是均方误差成了默认目标，均值填充、线性插值、RNN 回归轮番上阵。可真正跑过下游任务的人会撞见一个反直觉现象：逐点误差最小的那版插补，往往让后续的异常检测和预测模型表现最差。
因为插补的目标从来不是复原某一个点，而是复原这个点所在轨迹的分布结构——周期、自相关、突变形态。逐点最优会把这些结构全部抹平，填出一条“数学上正确、物理上不存在”的平滑曲线。GAN-RNN 这类递归生成式插补的思路，是把“逐点拟合”换成“整条序列的分布匹配”，代价是训练难、评测难，好处是缺口里的轨迹仍然是活的。
2. 递归生成器：GAN 的生成侧为什么必须带记忆
判别器只看得到一整条序列，它判断不了某个点“该不该是 3.7”。它能判断的是：这条曲线的局部形态、周期节律、尖峰后的衰减速度像不像真的。这个信息粒度决定了生成侧不能是一个逐点映射的前馈网络，必须是能带着状态往前走的递归结构。
2.1 从“逐点复原”到“整条轨迹的分布匹配”
用 MSE 训练出来的插补器，本质上是在逼近条件均值 E[x_t | 上下文]。条件均值有两个致命属性：一是它天然比真实分布窄，方差被系统性压缩；二是它在多峰分布上会落到两峰之间的谷底，产出一个现实中从未出现过的值。
序列模型上的后果更明显。递归生成时，第 t 步的输出会作为第 t+1 步的输入，一旦某一步落到了均值附近，后续所有步都会被拖向同一个吸引子，几十步之后整段缺口退化成一条水平线。这在文献里常被称作自回归漂移，或者叫暴露偏差——训练时喂真值，推理时喂自己，分布一对不上就崩。
GAN 在这里的作用不是“更准”，而是换了一个损失信号。判别器给出的是关于整条轨迹的标量评价，它不惩罚某一个点的偏差，只惩罚整体统计特征的偏差。生成器为了骗过它，必须学会产出有正确方差、正确频谱、正确局部形态的曲线，而不是一条被平滑过的中轴线。
常见的实现思路是把 WGAN 系列的思路搬过来：去掉判别器最后的 sigmoid，用 Earth Mover 距离代替 JS 散度，再加梯度惩罚约束 Lipschitz 常数。这套组合在序列任务上比原始 GAN 稳得多，原因在第 3 章展开。
2.2 GRU 的两个门在缺口期做了什么
生成器主干用 GRU 而不是 LSTM，主要是参数量少、训练快，在中等长度序列上表现不差。它的更新过程可以拆成四步：
z_t = sigmoid(W_z · [x_t, h_{t-1}] + b_z) # 更新门 r_t = sigmoid(W_r · [x_t, h_{t-1}] + b_r) # 重置门 h~_t = tanh(W_h · [x_t, r_t ⊙ h_{t-1}] + b_h) # 候选状态 h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h~_t # 状态混合把这段放到插补语境里看才有意思。缺口期内输入 x_t 是占位值（通常是 0），不含任何信息，此时 h_t 的演化几乎完全由两个门自己决定。更新门 z_t 调节“新候选状态覆盖多少历史记忆”，重置门 r_t 调节“计算候选状态时忽略多少历史”。
训练充分的模型会在缺口期学到一个特殊行为：z_t 被压向 0，让 h_t ≈ h_{t-1}，隐藏状态不再被无效输入污染，而是沿着训练时学到的动力学自由外推；等到序列重新出现观测值，z_t 又被推高，新信息强势覆盖进来。这个“缺口期自我保护、观测期快速吸收”的开关行为，不是人工设计的，是梯度自己找出来的。
提示：如果你的模型在缺口起点就立刻跑偏，先检查输入占位值。用 0 填充在归一化后可能不等于“无信息”，有些实现会额外拼一个 mask 通道，让网络显式知道这一位不可信。
2.3 互补掩码：观测值必须被原样保留
生成器输出 ĝ_t 之后，不能直接当成插补结果。真实观测到的位置必须保持原值，否则条件信息被自己破坏，整个任务退化成无条件生成。标准做法是互补掩码：
# mask 为 1 表示该时刻是观测值，为 0 表示缺失 x_hat = mask * x_tilde + (1.0 - mask) * g_hat这行代码看着简单，含义却重：它把生成器的职责严格限制在缺失位上，观测位是硬约束不是软目标。同时它让判别器面对一个更公平的问题——真假样本在观测位完全一致，判别器只能靠缺失区域的形态来分辨，没法偷懒。
这份实现里数据管线和模型之间就是靠这个掩码契约连接的：挖洞脚本负责生成 mask，模型内部所有涉及“该不该信这一位”的计算，全部走同一个 mask 张量。一致性一旦破坏，后面所有指标都不可信。
3. 判别器与损失：一维卷积怎么给整条序列打分
生成侧是递归的，判别侧未必。这份实现里判别器走的是 1D 卷积堆叠，这个选择背后有明确的工程理由，也有它自己的坑。
3.1 为什么判别器选 1D CNN 而不是另一台 RNN
判别器的任务是二分类，但它需要的是“局部形态敏感 + 全局聚合”的能力。一维卷积天然匹配这个需求：kernel 在时间轴上滑动，每一层捕捉固定跨度的局部模式——连续三个时间步的上升沿、平台期后的突降、周期峰值的形状。堆两层 kernel=5、stride=2 的卷积，第二层的单个位置就能覆盖约 13 个原始时间步，三层能到 29 步，足以覆盖一个完整的周周期。
相比之下，RNN 判别器有两个实际问题。一是训练慢，时间步必须串行展开，GPU 并行度上不去；二是梯度要沿时间反传，序列一长就衰减，判别器对远处形态的敏感度下降。GAN 训练本来就脆，再叠一层梯度消失，调参成本会翻倍。
def build_discriminator(channels=64): return tf.keras.Sequential([ tf.keras.layers.Input(shape=(None, 1)), # 长度可变，便于不同窗口复用 tf.keras.layers.Conv1D(channels, 5, strides=2, padding="same"), tf.keras.layers.LeakyReLU(0.2), tf.keras.layers.Conv1D(channels * 2, 5, strides=2, padding="same"), tf.keras.layers.LeakyReLU(0.2), tf.keras.layers.Conv1D(channels * 4, 5, strides=2, padding="same"), tf.keras.layers.LeakyReLU(0.2), tf.keras.layers.GlobalAveragePooling1D(), # 把局部判断聚合成整条序列的分数 tf.keras.layers.Dense(1), # WGAN：不接 sigmoid ])Input(shape=(None, 1))允许变长输入，GlobalAveragePooling1D把任意长度的特征图压成一个向量。这两点让同一个判别器能在不同窗口长度上复用，不用为每个序列长度单独建图。LeakyReLU 的负斜率 0.2 是 GAN 判别器的常规配置，避免负半轴梯度为零导致判别器“死掉”。
Dense(1)后面不接激活函数，是 WGAN 的标志。原始 GAN 的判别器输出概率，配合交叉熵；WGAN 的判别器输出的是一个无界实数，衡量的是分布之间的距离，数值本身没有概率含义。
3.2 WGAN-GP 的梯度惩罚在序列上怎么落
JS 散度在高维稀疏分布上会饱和：当真实序列和生成序列的支撑几乎不重叠时，判别器能轻松做到 100% 准确，此时生成器的梯度趋近于零，训练原地卡死。网页访问量这类数据恰好是高维稀疏的——大量时刻流量为零，分布支撑天然分离。
WGAN 换成 Earth Mover 距离，理论上即使分布不重叠也能提供有意义的梯度，但需要判别器满足 1-Lipschitz 约束。原始论文用权重裁剪实现，实践中容易把判别器压得太死。梯度惩罚是更稳的替代方案：不裁剪权重，而是在真样本和假样本之间的随机插值点上，惩罚判别器梯度的范数偏离 1。
def gradient_penalty(disc, real, fake, gp_weight=10.0): batch = tf.shape(real)[0] alpha = tf.random.uniform([batch, 1, 1], 0.0, 1.0) # 每个样本一个插值系数 interp = alpha * real + (1.0 - alpha) * fake # 在两点连线上采样 with tf.GradientTape() as tape: tape.watch(interp) d_interp = disc(interp, training=True) grads = tape.gradient(d_interp, interp) norms = tf.sqrt(tf.reduce_sum(tf.square(grads), axis=[1, 2]) + 1e-12) # 每个样本单独算范数 return gp_weight * tf.reduce_mean(tf.square(norms - 1.0))三个细节值得说。alpha的形状是[batch, 1, 1]，对应[样本, 时间步, 通道]，每个样本独立采样一个插值系数，而不是整个 batch 共用一个，否则惩罚点分布会过于集中。范数计算用axis=[1, 2]对时间和通道求和，得到每个样本的梯度范数，再对 batch 求均值，这是 WGAN-GP 原文的定义。+1e-12是防止梯度全零时sqrt在 0 处求导出 NaN，不加这一项，训练到某个 batch 突然全变 NaN 是很常见的翻车方式。
gp_weight取 10 是原论文的默认值，在序列任务上通常不需要大改。真正需要调的是判别器每步更新几次（n_critic）和生成器重建项的权重，这两个在第 5 章展开。
3.3 生成器的重建项：判别器之外的第二个监督信号
光靠对抗损失训练生成器，在序列插补上几乎必然失败。原因是判别器只关心“像不像”，不关心“对不对”，生成器完全可能产出一条统计特征完美但和上下文毫无关系的轨迹。所以必须加一个重建项做锚定：
# 只在观测位上计算，用生成器的原始输出 g_hat，不是互补掩码后的 x_hat g_rec = tf.reduce_sum(tf.abs(g_hat - x) * mask) / (tf.reduce_sum(mask) + 1e-8)注意这里监督的是g_hat而不是x_hat。因为x_hat在观测位上恒等于真值，算出来的 loss 是 0，完全起不到监督作用。用g_hat相当于强迫生成器在观测位也做一次“盲预测”，只不过这些位置的答案它能看到。这有点像自编码器里的重构损失，作用是让隐藏状态学会携带可解码的时序信息，而不是只学会骗判别器。
分母用tf.reduce_sum(mask)而不是 batch 大小，是因为每个 batch 的缺失比例不同，按有效观测数归一化才能让 loss 量级稳定。+1e-8同样是防除零——如果一个 batch 里恰好全是缺失位（随机挖洞时偶有发生），分母为 0，整步梯度直接报废。
对抗项和重建项的量级需要平衡。常见做法是给重建项一个 10 左右的系数，让它在训练早期主导、后期让位给对抗信号。系数太小，生成器被判别器带跑偏；系数太大，输出被拉回平滑的均值解，GAN 白加了。
4. TensorFlow 2 的落地：自定义 train_step 怎么写才不踩图执行
GAN 有两个优化器、两套梯度、交替更新，model.fit那套流程套不上。TensorFlow 2 的标准做法是继承tf.keras.Model重写train_step，外面套@tf.function做图编译。
4.1 数据管线：滑动窗口与人为挖洞
原始数据是每个页面一条按天或按小时计的访问量序列，长度不一、量级差异大。预处理分三步：先做 log1p 变换压缩长尾，再按窗口切分成固定长度的样本，最后在窗口内人为挖洞构造训练对。
挖洞策略直接决定模型学到什么。如果只在窗口里随机挖单点，模型学会的是“用前后各一个点插值”，遇到连续几十步的长缺口立刻失效。合理的做法是混合三种模式：随机点缺失（模拟传感器偶发丢包）、连续块缺失（模拟采集中断）、周期性位置缺失（模拟固定时段的系统性丢失）。三种模式按比例混合，块缺失的长度也要随机化，从几步到窗口的三分之一都覆盖。
这一步容易被忽略的细节是 mask 的随机性。如果整个训练集的缺失位置模式固定，判别器会走捷径——它不需要判断曲线像不像，只需要记住“第 37 位到第 52 位是缺口”，然后靠位置先验分类。这个捷径一旦形成，生成器永远学不到真东西。每个 batch 重新采样 mask，是成本最低的防御手段。
4.2 一个完整的 train_step
下面这段是核心训练循环的骨架，两个优化器、两次梯度计算、一个梯度惩罚：
gen_opt = tf.keras.optimizers.Adam(1e-4, beta_1=0.5, beta_2=0.9) disc_opt = tf.keras.optimizers.Adam(1e-4, beta_1=0.5, beta_2=0.9) LAMBDA_REC = 10.0 N_CRITIC = 5 @tf.function def train_step(x, mask): x_tilde = x * mask # 缺失位填 0，作为生成器输入 # ---- 判别器：更新 N_CRITIC 次 ---- for _ in tf.range(N_CRITIC): with tf.GradientTape() as d_tape: x_hat, _ = generator(x_tilde, mask, training=True) d_real = discriminator(x, training=True) d_fake = discriminator(tf.stop_gradient(x_hat), training=True) d_loss = tf.reduce_mean(d_fake) - tf.reduce_mean(d_real) d_loss += gradient_penalty(discriminator, x, x_hat) d_grads = d_tape.gradient(d_loss, discriminator.trainable_variables) disc_opt.apply_gradients(zip(d_grads, discriminator.trainable_variables)) # ---- 生成器：更新 1 次 ---- with tf.GradientTape() as g_tape: x_hat, g_hat = generator(x_tilde, mask, training=True) g_adv = -tf.reduce_mean(discriminator(x_hat, training=False)) g_rec = tf.reduce_sum(tf.abs(g_hat - x) * mask) / (tf.reduce_sum(mask) + 1e-8) g_loss = g_adv + LAMBDA_REC * g_rec g_grads = g_tape.gradient(g_loss, generator.trainable_variables) gen_opt.apply_gradients(zip(g_grads, generator.trainable_variables)) return d_loss, g_loss, g_rec几个位置值得单独拎出来讲。
tf.stop_gradient(x_hat)是必须的。判别器更新时，梯度不该回传到生成器，否则两步更新互相污染，等于同时优化两个目标。
tf.range(N_CRITIC)而不是 Python 的range，是因为这段在@tf.function里会被转成图，Python 循环会在追踪阶段被展开成 N 份子图，编译时间和图体积都随 N 线性增长。用 TensorFlow 的循环原语，图里只留一个循环节点。
生成器更新时判别器用training=False，主要是为了让判别器里的 BatchNorm 走推理模式，避免生成器更新时把判别器的统计量带偏。如果判别器里没有归一化层，这一位影响不大，但保持习惯更安全。
beta_1=0.5是 GAN 训练的通用配置。默认的 0.9 会让动量项累积过多的历史梯度，在交替更新的场景下加剧震荡。
4.3 图执行下的几个隐式约束
@tf.function一旦编译，张量形状就被钉死了，除非用input_signature声明可变形状。窗口长度固定时问题不大，但如果验证阶段想用不同长度的序列，会直接撞上 retracing 或者形状不匹配的报错。稳妥的写法是给train_step显式指定签名，把时间维声明成None。
另一个隐式约束是 Python 副作用。图模式下print、assert、numpy 转换都不会按预期执行，调试信息会丢失。要看中间值，用tf.print或者把这些量作为返回值带出来。我一般会把d_loss、g_loss、g_rec和生成输出的标准差一起返回，标准差是判断模式坍塌最快的信号——它掉到接近 0，说明生成器开始输出常量了。
还有一处容易忽略：tf.function内部第一次调用会触发追踪，此时如果 Python 侧的分支依赖张量的值（比如if tf.reduce_max(mask) > 0:），会直接报错。所有依赖张量值的判断，都得换成tf.cond或者干脆用无分支的写法（比如上面那个+1e-8）。
5. 常见问题排查：训练崩、输出平、指标虚高
对抗训练加递归结构，失败模式比普通监督学习多一个量级。下面这几条是这类实现里出现频率最高的。
5.1 训练阶段的异常
现象：判别器损失迅速掉到接近常数，生成器损失不降，生成输出逐渐变成一条水平线。原因通常是判别器过强，或者重建项权重压得太狠。判别器每步更新 5 次、生成器 1 次，这个比例在序列任务上偏激进；重建项系数过大则直接把生成器拉向条件均值解。 解决顺序：先把N_CRITIC降到 2 到 3 观察几轮，再把LAMBDA_REC从 10 往下扫到 1，同时监控生成输出的标准差。标准差持续下降就是模式坍塌的前兆，别等到曲线彻底变平才反应。
现象：训练几百步后 loss 突然变成 NaN，且无法复现具体哪一步。最常见的原因是梯度惩罚里的范数计算。tf.sqrt在梯度全零的点上求导会产生 NaN，+1e-12就是为了堵这个洞，但如果你把它写成了tf.maximum(norms, 1e-12)而没改sqrt的位置，依然会炸。另一个来源是重建项的分母，某个 batch 恰好全缺失时reduce_sum(mask)为 0。 解决：全程开tf.debugging.enable_check_numerics()跑一小段，能直接定位到出问题的算子。生产训练时至少加上全局梯度裁剪。
现象：判别器准确率第一个 epoch 就到 1.0，且再也不下降。八成是判别器找到了捷径。如果训练集的 mask 模式固定，判别器只需要识别“缺口在第几位”就能完美分类，完全不用看曲线形态。 解决：每个 batch 重新采样 mask，缺失比例、块长度、块数量都随机化。改完之后判别器准确率通常会掉到 0.7 附近，这才是有信息量的对抗。
现象：短缺口插补得很准，缺口一超过 20 步误差就爆炸。递归误差累积的典型表现。训练时如果只用真值做输入（teacher forcing），推理时换成自己生成的占位值，分布立刻错位。 解决：训练中按概率逐步混入生成值，也就是 scheduled sampling 的思路，前期多喂真值、后期逐步提高生成值比例。另一种做法是直接加大训练集里长块缺失的采样权重，让模型在训练阶段就见过长缺口的形态。
5.2 评估阶段的假象
现象：验证集 RMSE 很漂亮，但把插补结果喂给下游预测模型，效果比线性插值还差。两个可能。一是验证集的缺失模式太简单，随机单点缺失下的 RMSE 根本反映不了块缺失的能力，评测必须按缺失类型分开报告。二是时间切分有泄漏，如果训练集和验证集在时间上交错，模型能通过周期位置间接“看到”答案。 解决：严格按时间先后切分，验证集的缺失块长度分布和真实业务场景对齐，并且一定要跑下游任务基线——插补质量最终由下游指标定义，不由 RMSE 定义。
注意：生成式模型的单次采样有方差，同一个缺口跑两遍结果不同。做对比实验时要么固定随机种子，要么多次采样取均值，否则不同方法之间的差异可能完全被采样噪声淹没。
6. 取舍：生成式插补的边界在哪里
这套递归 GAN 的结构，本质上是用训练难度换表达能力的交易。它擅长的是块状缺失、强周期、需要保持分布形态的场景——网页访问量这类数据恰好全部命中。但它不是通用解，判断该不该用它，有几个明确的信号。
第一，看下游任务对分布形态的敏感度。如果下游只是个粗粒度的分类器，特征对轨迹形状不敏感，那么中位数填充加缺失指示变量就够了，投入产出比完全不成正比。只有当后续模型依赖周期结构、峰值形态、方差特征时，生成式插补的优势才显现出来。
第二，看缺口长度。递归生成在短缺口上优势不明显，甚至因为采样方差输给三次样条。它的价值区间在中长缺口——超过十个时间步、局部线性假设彻底失效的地方。
第三，看可接受的工程复杂度。两个优化器、梯度惩罚、掩码随机化、scheduled sampling，每一项都需要调；相比之下，插值方法零训练成本、结果确定、可解释。如果团队没有持续调参的预算，硬上 GAN 大概率得到一个不如插值的产物。
还有一层更根本的取舍：生成式插补输出的是分布中的一个样本，不是唯一答案。这在需要审计的场景里是麻烦——同一个缺口，两次运行给出两个值，业务方会追问哪个是对的。可行的做法是多次采样后取中位数作为点估计，同时把采样方差作为置信度一起输出，让不确定性显式可见，而不是藏在模型里。
我做这类项目有个固定习惯：任何插补方案上线前，先跑一遍“下游任务基线”——用最简单的均值填充训练下游模型，记下指标，后面所有花哨方法都必须跨过这条线才算数。有一次一个跑了三天的对抗模型，下游 F1 只比均值填充高 0.3 个点，而方差是它的五倍，最后被换成了分组中位数加掩码特征。从那以后我每次接手插补任务，都强制先把这个基线跑出来，再决定要不要动 GAN。希望帮到你。
本文还有配套的精品资源，点击获取
