1. 从标题拆解：DCN 到底在解决什么问题
CTR 预估这个方向，做过推荐和广告的人都不陌生。输入是一堆高维稀疏特征，输出是一个 0 到 1 之间的点击概率。早期大家用 LR，靠人工做特征交叉，后来上 FM、FFM 自动做二阶交叉，再后来 Deep 系列把高阶非线性也吃进来。但真正落地过的人都知道，这里有个绕不开的矛盾：显式交叉和隐式交叉，到底怎么平衡。
DCN 这个模型，全称 Deep & Cross Network，就是冲着这个矛盾去的。它的核心思路很直接——用 Cross Network 显式地、有限阶地做特征交叉，用 Deep Network 隐式地、无限阶地做非线性变换，两条路并行，最后拼在一起过一层输出。相比纯 MLP 那种"我全都要靠网络自己学"的路子，DCN 在交叉这件事上给了模型一个明确的归纳偏置，收敛更快，参数效率也更高。
我这次拿 TensorFlow 2.0 从头实现了一遍 DCN，用的是 Criteo 那套经典的展示广告数据集。选 TF2.0 而不是 1.x，理由很实在：tf.keras的Model子类化写法在 2.0 里已经稳定，tf.data的 pipeline 写起来比tf.train那套舒服太多，而且 eager 模式下调试梯度、看中间张量形状，比 graph 模式省心不止一点。这篇文章我会把整个实现过程拆开讲——从数据读取、特征处理、Cross 层的数学推导，到训练调参、线上推理的坑，全部摊开。
适合谁看？如果你已经写过基础的 Wide & Deep 或者 DeepFM，想进一步搞清楚显式交叉层怎么落地，这篇能直接抄作业。如果你刚入门 CTR，建议先把 embedding + MLP 的套路跑通再来看，不然 Cross 层的矩阵操作容易看懵。
2. 模型设计思路与方案选型
2.1 为什么是 Cross Network 而不是继续堆 MLP
先说个我踩过的坑。早几年我试过纯 MLP 去拟合 CTR，层数加到 4 层、每层 512，结果离线 AUC 卡在 0.78 上不去，训练 loss 降得挺欢，验证集就是不动。后来分析发现，问题出在特征交叉的表达效率上。MLP 理论上能逼近任意函数，但那是理论，实际训练里它要靠大量参数和样本去"学"出二阶、三阶交叉，而 CTR 场景里很多交叉是有明确业务含义的（比如"性别=女" × "品类=美妆"），这种先验知识你不喂给它，它就得自己猜。
Cross Network 的价值就在这。它的每一层做的是：
x_{l+1} = x_0 · (x_l^T · w_l) + b_l + x_l
注意这个x_0，它是原始输入，不是上一层的输出。这意味着每一层都在和原始特征做交互，而不是层层抽象后的表示。这个设计让交叉的"记忆"不会随着层数加深而丢失，同时参数量极小——每层就一个d维的w和b，d是输入维度。我实测下来，Cross 层加到 3 层，参数量增加不到 1 万，但 AUC 能涨 0.5 到 1 个点，性价比极高。
2.2 并行结构 vs 串行结构的选择
DCN 原论文里其实有两种结构：并行（Parallel）和堆叠（Stacked）。并行就是 Cross 和 Deep 各走各的，最后 concat；堆叠是 Cross 的输出喂给 Deep。我两种都试过，结论是：
| 结构 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 并行 | 两条路独立，梯度不互相干扰，训练稳 | 最终融合靠 concat，交互有限 | 特征维度高、交叉阶数需求中等 |
| 堆叠 | 交叉后的表示再进 Deep，表达更强 | 梯度容易在 Cross 层爆炸，调参敏感 | 交叉阶数需求高、数据量大 |
我最后选了并行。原因很简单：堆叠结构里 Cross 层的输出直接进 Deep，一旦 Cross 层权重初始化不好，前几轮梯度会把 Deep 带偏，loss 曲线跟过山车似的。并行结构下，两条路各自收敛，concat 之后再过一层 Dense，稳得多。当然如果你的数据量足够大（上亿样本），堆叠结构上限更高，这个后面调参部分再细说。
2.3 特征处理方案：稀疏转稠密的取舍
CTR 数据的特征分两类：数值型（如年龄、价格）和类别型（如性别、品类、城市）。类别型特征是重头戏，通常基数很大，必须做 embedding。这里有个关键决策：embedding 维度怎么定。
业界有个经验公式：embed_dim = int(1.6 * cardinality^0.56)，这是某大厂在公开分享里提过的。但我实际用下来，这个公式对基数特别大的特征（比如百万级 ID）会给出过大的维度，导致参数量爆炸。我的做法是分档：
- 基数 < 100：embed_dim = 8
- 基数 100 ~ 10000：embed_dim = 16
- 基数 > 10000：embed_dim = 32，且加 L2 正则
数值型特征不能直接扔进去，量纲差异太大会让 Cross 层的权重更新失衡。我统一做了log1p 变换 + 标准化。log1p 是为了压长尾，CTR 里的数值特征（比如曝光次数、历史点击）基本都是长尾分布，直接标准化效果很差。
3. 核心细节解析与实操要点
3.1 Cross 层的数学推导与代码映射
Cross 层的公式看着简单，但实现时有几个细节容易翻车。先把公式再写一遍：
x_{l+1} = x_0 ⊙ (x_l^T w_l) + b_l + x_l
其中x_0是[batch, d]，x_l是[batch, d]，w_l是[d, 1]，b_l是[d]。x_l^T w_l得到[batch, 1]，再和x_0做逐元素乘（broadcast），得到[batch, d]。
用 TF2.0 写出来是这样：
class CrossLayer(tf.keras.layers.Layer): def __init__(self, dim, **kwargs): super().__init__(**kwargs) self.dim = dim def build(self, input_shape): self.w = self.add_weight( name='cross_w', shape=(self.dim, 1), initializer='glorot_uniform', trainable=True) self.b = self.add_weight( name='cross_b', shape=(self.dim,), initializer='zeros', trainable=True) def call(self, x0, xl): # x0: [B, d], xl: [B, d] xl_w = tf.matmul(xl, self.w) # [B, 1] cross = x0 * xl_w + self.b + xl # broadcast return cross这里有个坑：self.b的形状是[d]，和[B, d]相加时会自动 broadcast，没问题。但如果你写成[1, d]，在某些 TF 版本里会报形状不匹配。我建议统一用[d]，让 TF 自己处理。
另一个坑是初始化。w用glorot_uniform是稳妥选择，千万别用zeros，否则第一轮x_l^T w全是 0，Cross 层退化成恒等映射，等于白加。b用zeros没问题，因为后面有残差+ x_l兜底。
3.2 特征 embedding 的拼接顺序
类别特征做完 embedding 后，每个特征得到一个[B, embed_dim]的张量。拼接方式有两种：按特征拼接和按维度拼接。我选的是把所有 embedding 和数值特征 concat 成一个[B, total_dim]的大向量，然后同时喂给 Cross 和 Deep。
这里要注意顺序：数值特征放前面，类别 embedding 放后面。为什么？因为 Cross 层的w是对整个d维向量做加权，如果数值特征和 embedding 混在一起且量纲差异大，w的更新会被数值特征主导。把数值特征标准化后放前面，embedding 放后面，实测梯度更均衡。
拼接代码：
def build_inputs(features): numeric_inputs = [] for col in NUMERIC_COLS: x = tf.cast(features[col], tf.float32) x = tf.math.log1p(tf.maximum(x, 0.0)) numeric_inputs.append(x) embedding_inputs = [] for col in CATEGORICAL_COLS: emb = self.embeddings[col](features[col]) # [B, embed_dim] embedding_inputs.append(emb) numeric_concat = tf.stack(numeric_inputs, axis=1) # [B, num_numeric] embedding_concat = tf.concat(embedding_inputs, axis=1) # [B, sum_embed] return tf.concat([numeric_concat, embedding_concat], axis=1)3.3 Deep 部分的层数与激活函数
Deep 部分就是标准 MLP，但层数和激活有讲究。我试过[256, 128, 64]和[512, 256, 128]两组，前者训练快但 AUC 略低，后者 AUC 高 0.3 个点但显存吃紧。最后折中用了[256, 128]，配合relu激活和dropout=0.2。
激活函数方面，relu是默认选择，但我建议在最后一层 Deep 输出前加一个BatchNormalization。原因：Cross 层的输出量纲和 Deep 层输出量纲可能差一个数量级，concat 之后直接过输出层，梯度会被大量纲的那一路主导。加 BN 把两路都拉到同一量级，训练稳定很多。
注意：BN 在训练和推理时的行为不同，导出 SavedModel 时一定要确认
training=False的分支被正确固化，否则线上推理结果会飘。
4. 完整实操流程与关键环节实现
4.1 数据读取与预处理 pipeline
我用的是 Criteo 的 TSV 格式数据，约 4500 万行，13 个数值特征 + 26 个类别特征。直接pandas.read_csv会爆内存，必须用tf.data流式读。
def parse_line(line): fields = tf.io.decode_csv( line, record_defaults=[[0.0]] * 13 + [['']] * 26, field_delim='\t') label = fields[0] numeric = fields[1:14] categorical = fields[14:] features = {} for i, col in enumerate(NUMERIC_COLS): features[col] = numeric[i] for i, col in enumerate(CATEGORICAL_COLS): features[col] = categorical[i] return features, label dataset = tf.data.TextLineDataset(files) dataset = dataset.skip(1) # 跳过 header dataset = dataset.map(parse_line, num_parallel_calls=tf.data.AUTOTUNE) dataset = dataset.shuffle(buffer_size=100000) dataset = dataset.batch(1024, drop_remainder=True) dataset = dataset.prefetch(tf.data.AUTOTUNE)这里有个性能细节：num_parallel_calls一定要设成AUTOTUNE，否则解析会成为瓶颈。我实测下来，单线程解析 4500 万行要 40 分钟，开了 AUTOTUNE 之后降到 8 分钟。
类别特征需要做词表映射。我用tf.keras.layers.StringLookup在训练前扫一遍数据建词表，把字符串 ID 转成整数索引。注意mask_token=None，因为 CTR 里没有"缺失"这个概念，所有类别都是有效值。
lookup = tf.keras.layers.StringLookup( max_tokens=1000000, mask_token=None, num_oov_indices=1) lookup.adapt(categorical_values)num_oov_indices=1是为了处理线上出现的新类别，映射到统一的 OOV 索引，避免推理时报错。
4.2 模型组装与参数计算
把 Cross 层、Deep 层、embedding 层组装成完整模型：
class DCN(tf.keras.Model): def __init__(self, num_numeric, cat_cardinalities, embed_dims, cross_layers=3, deep_units=(256, 128), dropout=0.2): super().__init__() self.embeddings = {} for col, card, dim in zip(CATEGORICAL_COLS, cat_cardinalities, embed_dims): self.embeddings[col] = tf.keras.layers.Embedding( input_dim=card + 1, # +1 for OOV output_dim=dim, embeddings_regularizer=tf.keras.regularizers.l2(1e-5)) total_dim = num_numeric + sum(embed_dims) self.cross_layers = [CrossLayer(total_dim) for _ in range(cross_layers)] self.deep = tf.keras.Sequential() for units in deep_units: self.deep.add(tf.keras.layers.Dense(units, activation='relu')) self.deep.add(tf.keras.layers.Dropout(dropout)) self.deep.add(tf.keras.layers.BatchNormalization()) self.output_layer = tf.keras.layers.Dense(1, activation='sigmoid') def call(self, inputs, training=False): x0 = self.build_inputs(inputs) x_cross = x0 for layer in self.cross_layers: x_cross = layer(x0, x_cross) x_deep = self.deep(x0, training=training) x_concat = tf.concat([x_cross, x_deep], axis=1) return self.output_layer(x_concat)参数计算：假设数值特征 13 个，类别特征 26 个，平均 embed_dim 16，则total_dim = 13 + 26*16 = 429。Cross 层每层参数429*1 + 429 = 858，3 层共 2574。Deep 层429*256 + 256*128 + 128 = 142,720。输出层(429+128)*1 + 1 = 558。总参数量约 15 万，非常轻量。
4.3 训练配置与调参记录
优化器用Adam，学习率1e-3，batch size1024。损失函数是标准的binary_crossentropy。我加了EarlyStopping，patience=3，监控val_auc。
model.compile( optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3), loss='binary_crossentropy', metrics=[tf.keras.metrics.AUC(name='auc')]) callbacks = [ tf.keras.callbacks.EarlyStopping( monitor='val_auc', patience=3, mode='max', restore_best_weights=True), tf.keras.callbacks.ReduceLROnPlateau( monitor='val_loss', factor=0.5, patience=1, min_lr=1e-5) ] model.fit( train_ds, validation_data=val_ds, epochs=10, callbacks=callbacks)实测下来，第 1 个 epoch 结束 val_auc 到 0.785，第 3 个 epoch 到 0.792，第 5 个 epoch 到 0.795 后开始平。最终停在 0.796 左右。对比纯 Deep 模型（去掉 Cross 层）的 0.789，涨了 0.7 个点。
调参过程中有几个发现：
- 学习率：
1e-3比1e-2稳，1e-2前 1000 步 loss 会震荡。 - Cross 层数：3 层最优，4 层开始过拟合，验证集 AUC 下降。
- Dropout：
0.2比0.5好，CTR 数据噪声大，dropout 太狠会欠拟合。 - L2 正则：embedding 上加
1e-5的 L2，能压住高频 ID 的过拟合。
5. 常见问题与排查技巧实录
5.1 训练 loss 不降或震荡
这是最常见的问题。我遇到过三种原因：
第一种，embedding 初始化太差。默认的uniform初始化在基数大的特征上会让初始梯度很小。解决办法是改用normal初始化，stddev 设0.01。
第二种，数值特征没标准化。我一开始偷懒没做 log1p，结果数值特征里有个"历史曝光次数"最大到 10 万，直接把 Cross 层的w梯度带飞。加上 log1p + 标准化后，loss 曲线立刻平滑。
第三种，batch size 太小。256的 batch 在 4500 万数据上梯度噪声太大，换成1024后稳定。如果显存不够，可以用梯度累积模拟大 batch。
5.2 验证集 AUC 上不去
如果训练 loss 降但验证 AUC 平，大概率是过拟合。排查顺序：
- 看 embedding 的 L2 正则是否开启，没开就加上。
- 看 Deep 层 dropout 是否够，
0.2起步，不行加到0.3。 - 看 Cross 层数是否过多，减到 2 层试试。
- 看类别特征是否有高频 ID 主导，对出现次数少于 10 次的类别做归并。
我踩过最坑的一次是类别特征没做频次过滤，有个 ID 在训练集出现 50 万次，模型直接记住了它，验证集上这个 ID 没出现，AUC 掉得厉害。后来加了min_frequency=10的过滤，问题解决。
5.3 线上推理结果与离线不一致
这个问题最隐蔽。我遇到过两次：
第一次是 BN 的 training 标志。训练时training=True，推理时忘了切False，导致推理用了 batch 统计量而不是滑动平均，结果飘了 3 个点。解决办法是在导出 SavedModel 时显式指定training=False。
第二次是 OOV 处理。线上出现新类别，StringLookup映射到 OOV 索引，但 embedding 层对 OOV 索引的向量是随机初始化的，没训练过。解决办法是在训练时人为构造一些 OOV 样本，让模型见过 OOV 的表示。
5.4 常见问题速查表
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| loss 震荡 | 学习率过大 | 打印每步 loss | 降到 1e-3 或更低 |
| loss 不降 | embedding 初始化差 | 检查初始梯度范数 | 改 normal 初始化 |
| 验证 AUC 平 | 过拟合 | 对比训练/验证 loss | 加 L2、dropout |
| 推理结果飘 | BN 标志错误 | 检查 SavedModel 签名 | 固化 training=False |
| OOV 报错 | 词表未覆盖 | 检查 StringLookup | 加 num_oov_indices |
| 显存爆 | batch 太大 | 看 nvidia-smi | 减 batch 或梯度累积 |
实操心得：每次改完配置，先跑 1000 步看 loss 趋势，别一上来就跑完整 epoch。CTR 数据量大，一个 epoch 可能半小时，试错成本太高。
6. 工程落地与性能优化
6.1 从实验代码到生产推理的改造
实验代码跑通只是第一步，上线要考虑的东西多得多。我总结了几条：
第一，模型导出要用 SavedModel 格式，不要用 H5。SavedModel 带完整的计算图，推理时不需要 Python 环境，可以直接被 TF Serving 加载。
@tf.function(input_signature=[tf.TensorSpec(shape=[None], dtype=tf.string)]) def serving_fn(serialized): # 解析、预处理、推理一体化 ... return {'outputs': prob} model.save('dcn_model', signatures={'serving_default': serving_fn})第二，预处理要固化进模型。实验阶段预处理在 Python 里做，线上如果还用 Python 做，性能和一致性都是问题。把StringLookup、log1p、标准化全部作为模型的一部分导出，线上只传原始特征。
第三，特征版本管理。CTR 模型的特征经常变，今天加个"用户最近 7 天点击品类数"，明天改个"商品价格分桶"。每次改特征，词表和标准化参数都要重新生成。我建议用特征配置文件管理，模型加载时按配置构建，避免硬编码。
6.2 推理性能优化
DCN 模型本身很轻，15 万参数，单次推理在 CPU 上也就几毫秒。但线上 QPS 高的时候，瓶颈往往在特征拼接和 embedding lookup 上。优化手段：
- embedding lookup 用
tf.gather替代Embedding层，减少一层封装开销。 - 批量推理，把多个请求攒成一个 batch，吞吐能提升 3 到 5 倍。
- 数值特征预计算，log1p 和标准化在特征平台侧做完，模型只做拼接。
我实测过，优化前单机 QPS 800，优化后到 3500，提升明显。
6.3 模型监控与迭代
上线不是终点。CTR 模型会随着数据分布变化而衰减，必须持续监控。我关注三个指标：
- 线上 AUC：按小时统计，掉超过 1 个点就告警。
- 特征分布漂移：用 PSI 监控每个特征的分布变化，PSI > 0.1 就要排查。
- embedding 范数：监控高频 ID 的 embedding 范数，异常增大说明过拟合。
迭代节奏上，我一般两周重新训练一次全量模型，中间每天用增量数据做 fine-tune。Cross 层的权重在增量训练时学习率要调小，否则容易把之前学到的交叉模式冲掉。
7. 几个容易被忽略的实现细节
7.1 Cross 层的残差连接不能省
公式里的+ x_l是残差，很多人实现时会漏掉。漏掉的后果是：层数一深，梯度消失，Cross 层退化成线性变换。我试过去掉残差，3 层 Cross 的 AUC 比 1 层还低，就是这个原因。
7.2 embedding 的 padding_idx 设置
如果类别特征里有 padding（比如变长序列），embedding 层要设mask_zero=True，否则 padding 的 embedding 会参与训练，污染其他特征。CTR 里一般没有变长序列，但如果你做的是序列 CTR（比如用户行为序列），这个必须注意。
7.3 输出层的激活函数
二分类用sigmoid是标准做法，但如果你要做多目标（比如同时预估点击和转化），输出层要改成多个sigmoid，loss 用加权和。我做过一个双目标版本，点击和转化的权重比 1:0.3，效果比单目标好。
7.4 随机种子的固定
CTR 实验对随机性很敏感，embedding 初始化、dropout、shuffle 都会影响结果。我建议在实验阶段固定所有随机种子：
tf.random.set_seed(42) np.random.seed(42) random.seed(42)这样两次实验的差异才能归因到模型改动上，而不是随机波动。
8. 后续可以怎么扩展
DCN 是个很好的基线，但实际业务里往往不够。我后续试过几个方向：
第一个是加 FM 层。在 Cross 和 Deep 之外再并行一个 FM，做二阶交叉的补充。这个思路其实就是 DeepFM 和 DCN 的融合，实测 AUC 能再涨 0.3 个点。
第二个是特征分组交叉。把所有特征分成几组（用户侧、商品侧、上下文侧），组内做 Cross，组间做 attention。这个对特征语义清晰的场景效果很好。
第三个是引入序列特征。用户历史行为序列用 transformer 编码后，和 DCN 的输出 concat。这个在电商场景里提升明显，但工程复杂度也上去了。
我个人在实际操作中的体会是，DCN 的价值不在于它本身有多强，而在于它提供了一个可解释、可扩展的交叉框架。你可以在 Cross 层上做各种魔改，比如把w换成矩阵、加 attention 权重、做分组交叉，都能在它的基础上快速验证。先把基线跑稳，再谈优化，这个顺序不能反。
