做推荐系统久了你会发现，“特征交叉”这四个字始终绕不开。从早期的LR+人工组合特征，到FM用隐向量自动建模二阶交互，再到DCN、SENet、FiBiNet这一路把交叉玩出花来，本质上都是在回答同一个问题：怎么让模型用更少的先验知识，学到特征之间那些说不清道不明的关系。这篇学习笔记整理的是推荐系统特征交叉这条主线上的几个经典模型——FM、DCN、LHUC、SENet、Bilinear Cross、FiBiNet，它们不算最新，却是理解整个特征交互演进的绝佳切片。
如果你是刚入门的算法工程师，或者正在做精排模型但总被“交叉”二字绕晕，这篇应该能帮你把整条脉络捋清楚。我把当时啃论文、复现代码、跑实验踩过的坑都写进去了，重点不只放在“模型是什么”，更放在“为什么要这么设计”“上线时怎么调才不翻车”。因为工作中的模型选型，永远是效果、速度、稳定性的三方妥协，光看懂公式远远不够。
1. 特征交叉想解决的，是人工特征工程解决不了的事
要理解这一串模型，得先回到特征交叉最原始的出发点。所谓特征交叉，就是把两个或两个以上的特征组合起来，表达出单独特征表达不了的语义。举个最简单的例子：用户性别是男、内容是游戏，这两个特征单独看，预测点击率的能力都有限；但“男性用户 + 游戏内容”这个组合，信息量立刻不一样了。这种联动关系，就是交叉特征要捕捉的东西。
1.1 为什么LR加人工交叉走不通
传统做法是人工去做交叉：分析师根据业务理解，手动构造“性别=男 & 内容=游戏”这样的组合特征，再丢给LR训练。这种方式在业务早期确实有效，但坑也很明显。人工构造特征本质上是拿人肉去搜索特征空间，业务理解强的人能挖出好特征，换个人效果就天差地别。而且推荐的业务特征动辄几十上百个，两两组合就有上千维度，三阶组合更是爆炸，靠人力根本覆盖不过来。
更要命的是，人工交叉特征在样本上是稀疏的。假设“性别=男 & 内容=游戏”只有几千个样本，这个组合特征的权重估计就很不稳定；如果特征维度再上去，LR训练时的稀疏性问题会被急剧放大。说到底，LR是一个线性模型，它只能对“已经构造好的交叉特征”做加权，它自己是没有能力创造新组合的。
所以行业的思路自然转向了：能不能让模型自己学交叉？FM就是这个转向里最有代表性的作品。它最大的贡献，不是那套矩阵分解式的公式，而是提供了一个“用隐向量做交叉”的新范式——每个特征学一个低维向量，两个特征的交叉强度用它们向量的内积表示。这样即使某个特征组合在训练样本里出现得很少，只要特征本身有足够多的出现次数，隐向量就能学得不错，组合起来的预测也不至于离谱。
1.2 模型学交叉的两种流派
从FM往后，自动特征交叉大致分化成了两条技术路线。
至少在我自己的实践里，这两条路一直在并行演进。有些模型表面看着不一样，内核却是同一条路线的延续。
第一条是内积式交叉，典型代表是FM及其变体。它的核心操作是把两个特征的embedding做内积，得到一个标量代表这对特征的交互权重。这个思路的优点是参数少、计算快、二阶交叉玩得明白；缺点也很直接，就是难以表达高阶交互。虽然可以通过引入不同阶数的组合来扩展，但计算复杂度上升得很快，实际业务里很少真的用三阶以上的FM。
第二条是层叠式交叉，典型代表是DCN（Deep & Cross Network）。它的思路不再是“两两配对算内积”，而是设计一个专门的网络层，让特征逐层、逐维地做交叉，每过一层，特征表达里就多融合一些交叉信息。理论上只要层数够深，它就能表达任意高阶的组合关系，而且每一层都是矩阵运算，工程上可以批量处理。
这里要插一句我对这俩流派的理解。FM那套内积交叉，其实是在“特征对”的粒度上建模；而DCN这类层叠交叉，是在“特征向量”的粒度上做变换。二者关注的粒度不同，所以不是简单的谁替代谁的关系。真正的演进，是把这两种思想组合起来用，后面要讲的FiBiNet就是这么干的。
2. FM与DCN：最经典的两套交叉骨架
既然要理解决策树这时候为什么没怎么提，那就先把FM和DCN这俩最基础的模型看透。它们一个代表了内积式交叉的优雅解法，一个代表了层叠式交叉的工程实现。后面所有的进阶模型，几乎都是在这两个骨架上加注意力、加权重、加非线性。
2.1 FM的隐向量对阵：二阶组合的优雅解法
FM的全称是Factorization Machine。它在LR的基础上，给每个特征引入了一个k维的隐向量。假设特征i的隐向量是v_i，特征j的隐向量是v_j，那么这两个特征的交叉贡献就是它们的点积⟨v_i, v_j⟩乘以特征值x_i x_j。把所有二阶组合加起来，就得到了FM的核心公式。
训练FM时有一个非常经典的化简技巧。朴素计算所有二阶组合的复杂度是O(n^2)，直接用在大规模稀疏特征上非常吃力。但因为交叉项是对称的，可以先对每个特征维度k求和再平方，把复杂度降到O(nk)。公式上就是先把所有特征的隐向量对应维度加总求平方，再减去各特征自身的平方和，中间项自然抵消。我第一次复现FM时，这段化简看了很久才想明白：它本质上是在利用“和的平方等于平方和加两两乘积”这个恒等关系，把两两组合的冗余计算压掉。
实操中做FM有几个我反复踩过的细节。第一，embeding的初始化很重要。隐向量维度k一般设置在8到32之间，初始化时用较小的标准差（比如0.01），因为FM的训练对特征尺度很敏感，初始化太大会让交叉项一开始就主导预测。第二，FM的一阶项不能省。很多人以为交叉是FM的重点，只保留了二阶项，结果在带偏置的场景里效果明显变差。一阶项承担了每个特征的独立贡献，交叉项只是它的补充，两者是分工关系。第三，负采样和样本加权的场景里，FM的二阶项会隐式放大高频特征的影响，如果业务本身就是偏斜很严重的，要记得给高频特征做降权或subsampling。
注意：FM虽然是经典模型，但它表达的是线性意义上的二阶交叉。它无法捕捉“交叉的交叉”——即高阶组合。如果想做三阶以上，理论上是加组合项，但实际工程中往往选择更深的网络结构来做，这也是DCN这类模型存在的意义。
2.2 DCN的交叉层：用矩阵运算显式组合高阶特征
DCN的全称是Deep & Cross Network，出自那篇把交叉网络和深度网络并行的论文。它的核心创新是一个交叉层（cross layer），每一层的计算可以写成：
x_{l+1} = x_0 ⊙ (W_l x_l + b_l) + x_l
其中x_0是初始的拼接特征向量，x_l是第l层的输出，W_l和b_l是该层参数，⊙是逐元素相乘。这个公式第一眼看有点奇怪，拆开看就清楚了：先用线性变换把当前层特征x_l映射到一个候选向量，再和初始输入x_0做逐元素相乘，最后加上x_l做残差连接。
这里有个非常关键的设计细节，值得多说两句。交叉层为什么要“和x_0相乘”，而不是“和x_l自己相乘”？因为x_0是整个特征的原始表达，每一层的交叉都直接和原始特征做交互，可以确保交叉信息不会在层间传递中被稀释。这其实是借鉴了残差网络的思想——每一层都在原始特征的基础上“增量地”构造新交叉，而不是在上一层结果上叠加。这样做的另一个好处是梯度传播更顺畅，训练更稳。
DCN的另一大优点是参数效率高。一个交叉层的参数量只有一个n×n的矩阵W和一个n维偏置b，n是特征向量总维度。相比之下，同样宽度的传统DNN层参数量是它的n倍。所以DCN在做特征维度很高的推荐场景时，参数量增长非常克制，训练和推理都很快。
实际用DCN时要注意，交叉层虽然有效，但层数不宜盲目加深。我在实验里发现，2到3层交叉层的收益最明显，继续加深收益边际递减，甚至会伤害效果。原因是交叉层本质上是拟合高阶多项式，层数太深容易过拟合训练集里的低频组合，泛化反而下降。另外，DCN的交叉部分通常需要一个DNN部分并行，两个分支的输出拼接后再过最终的预测层。这个“并行”结构很关键——交叉层负责显式交叉，DNN负责隐式的高阶非线性，两者互补。只留交叉层而砍掉DNN，效果通常有明显回落。
3. 从“交互”到“重要度”：SENet与LHUC的不同加权思路
FM和DCN教模型怎么做交叉，但都没有回答一个问题：是不是所有特征、所有交叉对结果同样重要？直觉上肯定不是。有些特征是强信号，有些特征纯属噪声；有些交叉组合非常关键，有些组合就算学到位了也没多少信息量。这个“重要度”问题，就是SENet和LHUC这类模块试图解决的。
3.1 SENet在推荐系统里的迁移
SENet（Squeeze-and-Excitation Network）原本是图像领域的结构，用于对特征通道做自适应加权。推荐系统把它迁移过来的原因很直接：既然不同的embedding维度对预测的贡献不同，那能不能让模型自己学会“关注哪些维度的信息”？
SENet模块在推荐系统里通常分三步走。第一步是Squeeze，把每个特征的embedding压缩成一个标量。最常用的是对embedding做全局平均池化，得到一个维度等于特征数的向量z。第二步是Excitation，用一个两层的全连接网络把z映射成一组权重向量，第一层先降维再激活，第二层再升维并用sigmoid输出0到1之间的权重。第三步就是把这个权重向量还原成对embedding的缩放系数。
这里有个细节值得展开：Squeeze的操作对象是“每个特征一个embedding”的粒度，而不是embedding内部的所有维度。这意味着SENet在回答的是“哪些特征更重要”，而不是“哪个维度信息更有用”。如果业务想做后者，把池化粒度换成维度级也行，但那参数量和训练难度就完全是另一个量级了。
在实现上，Excitation中间的降维比例（reduction ratio）是个值得调的超参数。r太大时中间层参数量骤降，学出来的权重容易互相趋同；r太小时又起不到压缩和抽象的作用，还会引入大量参数增加过拟合风险。我一般从4到8起步，效果不明显再调整。另外，SENet层通常加在embedding层之后、进入交叉或深度网络之前。加的位置很重要，如果加在已经过了一层交互的特征上，那它学的就不是“原始特征的权重”，而更接近“中间表征的注意力”，效果会变混沌。
3.2 LHUC的自适应缩放逻辑
我第一次看到LHUC的时候，还愣了一下，因为它最初是从语音领域引入的，全称是Learning Hidden Unit Contributions，直译是“可学习隐层单元贡献”。它的思想比SENet更朴素：对每个特征（或隐层单元），学一个可学习的缩放系数，去调整原始embedding的幅度。
和SENet用一个压缩-激发网络来生成权重不同，LHUC的权重本身就是一个独立的可训练参数，直接乘到特征上。比如假设特征i的embedding是e_i，那么LHUC第i个特征的输出就是σ(α_i) * e_i，其中α_i是可训练标量，σ是sigmoid函数。这个σ的意义是让缩放幅度被限制在0到1之间，保证不会把embedding放得过大。也有一些变体会去掉σ，让缩放系数无约束，但我个人测试下来，有约束的更稳，尤其在训练初期。
这里有一个很容易被忽略的区别：LHUC是在“整个embedding向量”的粒度上缩放，SENet虽然也是特征粒度上的权重，但它是一个通过数据学来的函数映射，LHUC则是一个直接学习的参数。这个区别放大了说，SENet泛化能力更强但更难训练，LHUC参数少、收敛快、解释性极好——你知道每个特征被放大了多少，适合做业务上的解释和干预。
所以LHUC的定位通常是“加在已有成熟模型上的轻量增强”。比如上线了一个FM模型，不想大改结构，只给每个特征加一个可学习的权重，就是LHUC的精髓。它的参数量等于特征数，小到可以忽略，训练时加进去也不会破坏原有模型的收敛性。在我做过的几次尝试里，LHUC在特征重要性差异明显的场景中能提供稳定的离线提升，尤其在新增特征刚上线、权重还没被充分评估的阶段。
3.3 两种模块的对比与组合
SENet和LHUC放在一起看，其实是两种不同的“重要度建模”哲学。SENet是数据驱动的动态加权，权重依赖当前输入；LHUC是静态可学习参数，权重对所有样本共享。
写到这里我觉得可以给一个判断标准。如果特征重要性本身就和上下文强相关——比如“是否周末”这个特征在推荐黄金周内容时权重更高——那就适合SENet。如果特征重要性整体稳定，只是模型一开始不知道谁重要，那就用LHUC更省事。
两者也不是二选一。有些结构会把SENet加在embedding层上来筛选重要特征，同时把LHUC加在深层网络上做隐层贡献调整，实现“特征级”和“隐层级”的双重加权。不过每加一个模块，训练时的学习率和正则都要重新调，模块叠太多也容易把模型逼近过拟合边缘。我的原则是：先验证单个模块在baseline上有提升，再谈组合，不要一上来就是全家桶。
4. 精细化特征对交互：Bilinear Cross与FiBiNet的组合拳
如果说FM代表了“内积交叉”，SENet代表了“特征加权”，那FiBiNet就是把这俩缝合起来还加了点新东西的完整方案。FiBiNet在整个特征交叉演进里的位置比较特殊，它把交叉实现从“内积”进化到了“带参双线性交互”，同时嵌入了SENet当成注意力筛选模块。这个组合在不少业务场景里被验证有效，值得仔细拆一遍。
4.1 把内积升级成带权重矩阵的双线性交互
回顾FM的做法，特征i和特征j的交互强度是embedding内积⟨v_i, v_j⟩。这个内积没有“额外参数”，交互的表达能力完全被限制在embedding本身。但embedding的维度通常是固定的，如果两个特征的交互模式比较复杂——不是简单线性加权，而存在维度之间的互相影响——那内积就表达不了。
双线性交互（Bilinear Interaction）的思路，是在内积中间加一个可学习的矩阵W，让交互变得更灵活。公式上是：特征i的embedding v_i经过W变换后，再和v_j做内积，即v_i^T W v_j。这个W相当于在交互时给特征i的每个维度做了一次线性映射，相当于把“维度级别的交叉通道”也学了出来。
这里有一个很实际的参数考量。如果W是全局共享的一个矩阵，那么所有特征对共用这一个W，参数量是k×k，k是embedding维度，通常几百到几千的参数量级别，是可接受的。但W是全局共享的话，所有特征对用的都是同一个变换，交互的表达能力又会受限。所以就有了第二种设计：为每个特征对单独学习一个W_ij，那参数量就是特征对数乘以k×k，在特征数量多时直接爆炸，工业场景基本不可行。
FiBiNet的做法是折中：把特征按业务分成若干field，同一个field内的特征对共享一个双线性矩阵W，不同field之间用不同的W。这就在“全局共享”和“单独学习”之间取了中间值，既保留了足够的表达能力，又把参数量控制在了field数×k×k的水平。field数量一般是个位数到几十个，相比特征对数量是数量级的下降。
实操时，双线性矩阵W的初始化和正则都比较讲究。初始化用均值为0、方差较小的随机矩阵，W本身承担的是维度间的线性变换，初始过大很容易在训练初期造成embedding数值剧烈震荡。正则方面，W整体的L2正则比逐元素正则更有效，因为逐元素正则很容易把W推向零矩阵，等于退化成普通内积。我在复现时会把W的L2系数单独拎出来调，而不是一并交给模型的默认正则。
4.2 FiBiNet：SENet加权与双线性交叉的融合
FiBiNet的全称是Feature Importance and Bilinear feature Interaction Network，从名字就能看出它的两个核心组件：特征重要性（Feature Importance）和双线性特征交互（Bilinear Interaction）。特征重要性这块，用的就是前面讲的SENet，对原始embedding做一个重要性加权；双线性交互这块，用的是带矩阵的Bilinear Interaction，用来替代普通的FM内积交叉。
FiBiNet的完整结构大致是这样的。输入层拿到稀疏特征后，先查表得到每个特征的embedding。然后兵分两路：一路走SENet，生成每个特征的加权系数，作用到原始embedding上，得到一组加权后的embedding；另一路走双线性交互，在原始embedding（或者加权后的embedding）上计算两两特征对的交叉表示。最后把SENet加权后的embedding和双线性交叉的embedding拼接起来，送入最后的预测层。
这个“拼接”本身是很有讲究的。SENet输出的是一组特征embedding，维度是特征数×k；双线性交互输出的是一组交叉embedding，维度是特征对数×k。两者拼接后直接过一层全连接加sigmoid输出预测值。这里要注意，如果不加任何池化，拼接后的维度可能非常高，尤其是特征数几百的情况下，全连接层的参数量会很可观。所以多数实现会在拼接后接一个池化层，把交叉embedding先压缩成固定长度，再喂给全连接。
在复现FiBiNet时，最值得关注的是SENet和双线性交互两个模块的消融效果。从我自己实验的结果看，SENet单独加的增益通常小于双线性交互单独加的增益；但两者合起来，增益往往大于它们各自增益之和，说明它们确实学到了互补的信息。SENet在前端做了特征筛选，双线性交互在后端做了更精细的交叉建模，“精选后交叉”的组合逻辑在直觉上是成立的。
FiBiNet的训练也有一些独门技巧。它的收敛通常比FM慢，因为双线性矩阵和SENet模块都需要更多步数来稳定，学习率稍微大一点就可能震荡。我的习惯是从小学习率开始，比如0.001的量级，等loss曲线平稳后再逐步加大。另外FiBiNet对embedding维度的敏感度比FM高得多，k从16调到32可能带来显著差异，这个维度的搜索空间值得认真跑。
5. 怎么选型、怎么调参：实践中的经验与踩坑
前面把六个模型过了一遍，接下来是更有价值的环节：这些模型放到真实业务里，怎么选、怎么调、怎么排坑。没有万能模型，我一直觉得，脱离业务场景谈模型选型都是耍流氓。这个部分把选择和调参的实战经验整理一下。
5.1 业务场景与模型选择的对照
下面这个对照表是我在实际工作中反复验证过的，可以作为一个选型起点：
| 场景特征 | 推荐模型 | 选型理由 |
|---|---|---|
| 特征数量少、业务刚起步、线上推理延迟苛刻 | FM | 参数少、训练快、二阶交叉足够用，是性价比最高的baseline |
| 特征维度高、有大量离散特征、需要高阶交叉 | DCN | 交叉层参数效率高，显式交叉+深度网络并行，适合大规模特征 |
| 新增特征权重不稳定、需要快速评估特征重要性 | LHUC | 每特征一个可学习系数，参数极少，几乎不影响原模型收敛 |
| 特征重要性随上下文变化明显 | SENet | 动态加权能为不同上下文分配合适的注意力 |
| 特征对交互模式复杂、不满足于普通内积 | FiBiNet（含Bilinear） | 双线性矩阵提供更灵活的交叉通道，SENet在前端做筛选 |
| 已经有一个上线模型，想低成本提效果 | FM + LHUC 或 DCN + LHUC | 在原模型上加轻量模块，改动小、风险低 |
需要注意的是，这个表格是“起点”而不是“终点”，真正落地前必须用离线评估和线上AB来做决策。有些场景里FM和FiBiNet的线上差异只有零点几个点的点击率提升，但模型复杂度增加导致推理耗时翻倍，ROI是不划算的。大方向是：业务模型越靠后（从召回、粗排到精排），对特征交叉的建模要求越高，越值得上复杂结构；而召回阶段特征规模和候选集都很大，简单模型的高吞吐优势更明显。
5.2 训练稳定性、初始化和正则的细节
无论是FM、DCN还是FiBiNet，训练细节对最终效果的影响经常超过模型结构的差异。这里列几个我踩过不少坑的经验。
embedding初始化是第一个容易出问题的地方。FM和FiBiNet这类模型，交叉项直接由embedding的运算构成，初始化尺度不匹配很容易导致训练初期loss异常跳动。推荐的做法是用标准差在0.01到0.1之间的正态分布初始化，配合embedding的L2正则一起使用。过大的初始化值在训练早期会让交叉项主导，一阶项几乎学不到，表现为loss曲线一开始震荡，后面即使降下来也容易陷入局部最优。
第二个经常被忽略的是特征预处理和embedding维度的匹配。比如连续特征要不要做离散化、做多少bucket，这个决策直接影响了特征embedding的数量和“粒度”。特征粒度太粗，交叉出的组合信息量自然不够；太细，稀疏性上升，交叉项更难学。我实践下来的经验是：高频特征用细粒度普通离散化，低频长尾特征做粗粒度的等频分桶，再配合embedding的hash技巧降低维度。这个预处理工作在一次真实项目中贡献的离线收益，比从FM换成FiBiNet还要明显。
第三个是训练轮数和早停。高阶交叉模型的过拟合来得比想象中快，尤其当你加了双线性矩阵或SENet的Excitation网络后。我一般会观察验证集AUC的变化，连续几个epoch没有提升就早停。如果发现验证集效果一直不错但线上AB没差异，大概率是模型学到了训练分布里的统计噪声而非真实业务信号，这时优先检查特征处理和采样策略，而不是继续堆模型复杂度。
5.3 评估时容易忽略的事
很多人评估特征交叉模型时只盯着离线AUC，这会有系统性偏差。AUC衡量的是排序质量，但推荐系统最终关心的是点击率提升、转化率提升，这两个指标对“交叉带来的头部样本改善”非常敏感，而AUC容易被海量的中低质样本稀释。实践里我通常还会看GAUC（按用户分组的AUC）、特定用户群的AUC，以及校准性指标（预测概率和实际CTR的一致性）。交叉模型如果学到了过强的组合信号，很容易出现校准漂移——预测值整体偏高或偏低，这个在AB时会被放大。
评估时还有一个容易犯的错误是只和同代模型做对比，不去看“人工交叉特征+简单模型”这个baseline。在不少业务里，一个优秀特征的组合（比如“用户活跃时段×内容品类”）能匹敌甚至超越一个复杂的交叉模型，因为人工特征可以直接编码业务先验，而模型只能从数据里近似地学。这个对比不是说复杂模型没用，而是提醒你不要把希望全押在模型结构上，特征层面的功课不能省。
还有一个实践心得：多个交叉模块之间的收益往往不是线性叠加。SENet在FM上有1%的提升，在DCN上未必有同样的效果；Bilinear Cross在浅层网络上增益明显，在深层模型上增益可能被隐式交叉稀释掉。这个现象的合理解释是，深层网络本身具备一定的隐式交叉能力，显式交叉模块提供的边际信息减少了。所以做模块组合实验时，一定要和基线模型逐对对比，而不是默认“加得越多越好”。
写在最后
把FM、DCN、LHUC、SENet、Bilinear Cross、FiBiNet这六个模型放在同一条时间线上看，特征交叉的演进脉络其实很清晰：先解决“能不能自动交叉”，再解决“交叉得更精细”，再解决“哪些该交、交多深”。每个模型都不是凭空出现的，它针对的是上一个范式留下的空白。比如FM解决了人工交叉的稀疏性问题，DCN把交叉从二阶推向了高阶，SENet给交叉添加了重要性维度，Bilinear让交叉从无参升级成有参，FiBiNet则把这几个能力粘合成了一个完整的解决方案。
我个人在实际项目中的体感是，不要一上来就冲最复杂的模型。先把FM调到足够好、特征处理梳理干净，再根据业务的瓶颈决定要不要上SENet、Bilinear或者直接换FiBiNet。特征交叉模型的升级曲线是边际递减的，前期的特征工程和训练细节往往带来更实在的收益。另外，把这些模型吃透的最大价值，不在于背下哪个结构能涨几个点，而在于你养成了“用交叉和加权两个视角去解构任何新模型”的习惯，这个习惯会跟着你在推荐系统这条路上走很远。
