表格数据建模二十年：从MLP到TFM的架构演进与工程实践

1. 为什么表格数据建模，绕不开这二十年的反复折腾

如果你做过几年机器学习相关的工作，大概率对这样一个场景不陌生：老板丢给你一份几百万行的表格，里面有用户ID、注册时长、最近30天消费金额、点击次数、商品类目ID，外加几个缺失值一堆的分类特征。你的第一反应不是上什么高大上的神经网络，而是先跑一版XGBoost或者LightGBM做基线，然后发现树模型效果居然还不错，甚至比你后来精心调的MLP好上一截。这时候你心里可能会冒出一个疑问：神经网络在图像和文本上都已经杀疯了，为什么到了表格数据这里，反而经常干不过一堆带正则化的决策树？

这个问题的答案，恰恰就是“表格神经网络架构发展史：从MLP到TFM模型”这个题目背后最核心的叙事线索。表格数据和我们熟悉的图像、文本数据有一个本质区别：它没有天然的空间结构，也没有天然的时序依赖。图像有像素之间的局部相关性，文本有单词之间的顺序关系，而表格数据里的每一列是什么含义、列和列之间是什么关系，全靠人给的特征工程去定义。这就导致神经网络最擅长的“自动提取结构特征”这个能力，在表格数据上很难直接发挥出来。MLP作为最朴素的神经网络，理论上能逼近任何函数，但在表格场景下，它会遇到两个致命问题：一是对特征之间的非线性交互拟合效率低，二是对稀疏、高基数分类特征的处理非常笨拙。

从2000年前后到2020年代初，表格数据建模的主流一直是梯度提升决策树（GBDT）体系。GBDT能霸榜这么久，靠的不是什么高深的数学理论，而是它对表格数据“不均匀、有缺失、特征含义各异”这种天性的天然适配。但树模型也有天花板：它学不到特征之间的乘法关系，学不到某些全局性的结构模式，而且在训练时需要反复扫描数据，难以做到流式更新。于是，一批研究者开始思考：能不能设计出一种神经网络架构，专门针对表格数据的特性做优化，既保留神经网络的灵活性和可扩展性，又能逼近甚至超越GBDT的效果？

这就是本文要聊的主线。从早期的Embedding+MLP方案，到后来引入注意力机制的Transformer式架构，再到目前比较前沿的TFM模型（我把这个缩写理解成针对表格数据的Transformer变体统称，业内类似的工作还包括TabTransformer、FT-Transformer、SAINT等），表格神经网络在这二十年里兜兜转转，踩过很多坑，也积累了不少真正有效的设计经验。本文不打算写成一篇干巴巴的论文综述，而是想以一个实践者的视角，把这条演进路线上的关键节点、背后的设计动机、以及我实际使用中的感受和教训，一次讲清楚。不管你是刚接触表格深度学习的新手，还是已经在用树模型做业务的工程师，这篇文章都值得花二十分钟看完。

2. 最初的二十年：为什么MLP在表格上打不过GBDT

2.1 MLP的底子并不差，但它忽略了表格数据的“不均匀性”

要说清楚表格神经网络的发展，得先回到MLP本身。多层感知机由输入层、若干隐藏层和输出层组成，每一层做线性变换加非线性激活，按道理说，只要隐藏层宽度和深度足够，MLP可以逼近任意复杂的函数。这个结论在数学上没问题，但在工程上有一道巨大的坎：表格数据的特征分布极不均匀。

图像数据进入神经网络之前，像素值通常被归一化到[0,1]或者[-1,1]，所有像素的语义尺度是统一的。文本数据经过Embedding之后，每个词的向量维度也保持一致。但表格数据不是这样：一列是年龄，取值范围18到80；另一列是消费金额，取值范围从0到几百万；还有一列是类别ID，取值是几千个互不相关的整数。这种量纲和语义尺度差异巨大的多列输入，如果直接喂给MLP，优化过程会非常痛苦。损失函数对尺度的敏感度完全被大数值列主导，小数值列的梯度信号会被淹没，最终模型学出来就是个“偏科生”。

这个问题可以通过特征归一化在一定程度上缓解，但归一化只是第一步。真正麻烦的是稀疏高基数分类特征。比如说“用户所在城市”这一列，有300多个取值，如果做One-Hot编码，输入维度被撑到几千维，但每条样本里只有一维是1。这种极端的稀疏性对MLP来说几乎是灾难：绝大部分Embedding参数在大多数样本上根本得不到更新，训练效率极低，还特别容易过拟合。

这时候GBDT的优势就体现出来了。决策树在做节点分裂时，本质上是在做“特征阈值划分”，它天然不关心特征的绝对值大小，只关心相对排序和划分点。而且树模型对缺失值有原生的处理逻辑，不需要额外的填充步骤。这些特性让GBDT在处理表格数据的“不均匀性”时，不需要像神经网络那样做大量前置的清洗和编码工作，直接用原始特征就能拿到不错的效果。

2.2 GBDT的隐式特征交互，和神经网络显式建模的差距

还有一个很关键的点，就是特征交互的处理方式。表格数据里，真正有价值的信息往往藏在特征组合里。比如“是否是新用户”和“最近7天消费次数”这两个特征单独看可能都一般，但它们组合起来，能非常强地预测“用户是否即将流失”。GBDT在处理这种交互时，是隐式的：每一棵树的决策路径，本质上就是在做特征组合的判断。只要树深度够，XGBoost和LightGBM可以自动捕捉到任意阶的特征交互，虽然这种交互是沿着决策路径逐层组合的，但实际效果已经足够好。

MLP理论上也能建模高阶交互，但它需要网络自己去学习哪些特征组合重要，这在数据和算力有限的情况下，效率远不如树模型的贪心分裂来得直接。更棘手的是，MLP的神经元在整个特征空间上共享参数，也就是说，它对交互的建模是“全局性”的。而表格数据往往存在显著的局部模式：某些特征组合只在特定的数据子集中有效。树的决策路径天然适合这种局部化建模，MLP则显得有点“一视同仁”。

我印象很深的一次实验：某电商用户复购预测任务，用LightGBM跑AUC能到0.78，换成一个四层MLP，做了精细的归一化和Embedding，AUC只有0.75。这0.03的差距，在业务上可能就是数百万营收的差别。那段时间很多团队都得出了类似的结论：MLP在表格数据上不是不能用，而是性价比太低。你需要花大量时间做特征工程、归一化、过拟合控制，最后效果还可能不如默认参数的LightGBM。

2.3 也是从这个时候开始，“针对表格数据设计神经网络”成了研究方向

正是这种“怎么调都打不过树模型”的挫败感，催生了一批专门研究表格神经网络架构的工作。研究者们的思路大致分两类：一类是用神经网络的组件去模拟树模型的行为，比如Deep Forest、NODE（Neural Oblivious Decision Ensembles）就是这种思路的代表；另一类是给神经网络引入更适配表格数据的归纳偏置，比如特征嵌入、注意力机制、特征维度上的残差连接等。前者的思路在当时看起来很吸引人，但实际效果并没有取得压倒性优势，而且训练成本比GBDT高得多；后者则慢慢演变成了后来的Transformer系方案。

现在回头看，MLP在表格上表现不佳，并不是神经网络这个方向本身错了，而是当时的架构设计没有解决表格数据的核心痛点。这些痛点不解决，再深的MLP也只是在错误的道路上越走越远。接下来要聊的Embedding化、残差连接、特征Token化等一系列改进，本质上都是冲着这些痛点去的。

3. 转折点：Embedding化、残差连接与特征Token化

3.1 把表格的每一列当成一个“词”来学

如果说MLP时代最大的问题是“不知道怎么处理表格特征”，那后续一系列工作的核心思路就是：给每一列特征学习一个专属的向量表示，让网络自己去理解这列特征的语义。这个思想借鉴了NLP里Embedding的概念——把离散的、无序的ID映射到一个连续的向量空间，让语义相近的取值在向量空间里靠近。

具体到表格数据，做法是给每一列特征都建立一个Embedding表。类别特征直接查表得到向量；连续特征先做分箱或者通过一个线性层映射成向量，然后再查表。这样一来，每个特征列都有自己的语义空间，网络在后续层中可以在这个空间里做特征交互，而不是在原始的、尺度混乱的数值空间里硬算。

这里有一个我实际使用中觉得特别重要的细节：连续特征的Embedding并没有一个绝对正确的做法。有些人喜欢先对连续特征做分箱，再按类别特征处理；有些人则是直接用线性变换，把原始数值压到一个向量。分箱的好处是可以模拟树模型的分裂行为，捕捉非线性关系，但缺点是分箱边界的选择很敏感；线性变换简单直接，但表达力有限。我在多个数据集上对比过，分箱+普通Embedding在中小规模数据上一般比线性变换好，但需要多调一个“箱数”的超参数。如果你的特征分布很偏，比如长尾严重，分箱前最好先做log变换或者rank归一化，否则分箱后大部分样本会集中到同一个箱子里，信息密度严重不均衡。

3.2 残差连接在表格架构里为什么特别关键

Embedding解决了特征表示的问题，但它并没有解决“网络加深后训练不稳定”的问题。表格数据的特征维度虽然不算高，通常几百维，但这几百维特征之间的相关性差异很大，有些特征高度相关，有些几乎独立。直接堆叠多层全连接，梯度在反传过程中很容易被这些复杂的相关性干扰，导致训练震荡或收敛到次优解。

残差连接在这里扮演的角色和它在ResNet里类似：让梯度有一条高速公路可以直达输入层。但它在表格场景中还有一个额外的意义——等价于让模型保留原始的浅层特征表达。树模型天然具备“使用原始特征的能力”，它可以在任意一层分裂的时候直接使用原始特征值；而MLP如果网络很深，前面的层会把原始特征反复变换，到后面原始信息可能已经面目全非。残差连接可以让网络决定“我要不要在这一层做变换”，如果这一层学到的东西不重要，网络可以直接跳过它，把上一层的输出原封不动地传给下一层。

我在实测中观察到，加入残差连接的MLP在表格任务上的收敛速度比普通MLP快很多，尤其是embedding维度较大的情况下。这个现象背后的原因也不难理解：embedding层初始化的参数接近随机，如果全靠后面的深层网络去“纠错”，优化压力很大；有了残差连接，前几层哪怕学得一般，后面的层也可以基于相对稳定的输入特征表示继续优化。

3.3 特征Token化：从“一个特征一个数字”到“一个特征一个向量序列”

MLP加Embedding加残差，这套组合让表格神经网络的效果大幅提升，但它仍然有一个结构性的短板：特征之间的交互是通过隐式的全连接实现的，网络不会明确地“知道”哪些特征值得交互，哪些不值得。注意力机制的出现，给了这个问题的另一种解法。

特征Token化的思路非常直接：把每个特征（经过Embedding后）看作一个Token，多个Token组成一个序列，然后用Transformer的注意力层让Token之间互相“看”。这样，每一列特征都可以根据自己的语义，去关注其他列中和自己相关的信息。举例来说，在一个贷款风控模型里，“年收入”这个Token可能会重点关注“工作年限”，而“负债率”这个Token可能更关注“已有贷款笔数”。这种显式的交互建模方式，比MLP的全连接更加高效——注意力权重告诉模型哪些交互重要，模型把算力集中在这些重要的交互上。

最早把Transformer直接搬到表格上的尝试之一是TabTransformer，它主要针对类别特征做多层Transformer编码，连续特征仍然走MLP分支。后来FT-Transformer进一步把连续特征也做了Token化，让所有特征统一进入Transformer层，效果进一步提升。再后来的SAINT等模型则引入了类似BERT的预训练思路，在这个框架上做掩码重建，让特征表示学到更多的数据内在结构。这套思路后来被统称为“表格Transformer”或直接叫TFM模型。

不过，这里必须提醒一句：Transformer不是银弹。FT-Transformer在多个标准表格基准（比如TabZilla这种大规模基准测试）上的表现，确实赶上甚至超过了调好参的GBDT，但它的训练成本和推理成本比树模型高出一个数量级。而且Transformer对特征顺序和数量非常敏感，特征一多，注意力矩阵的复杂度和内存占用会快速上升。后面我会专门用一个章节来说这个“性能与代价的权衡”问题。

4. TFM模型：注意力机制给表格带来的真正的结构升级

4.1 TFM模型的核心架构演进：从MLP到特征Token化再到注意力循环

我们把时间线拉回到“TFM模型”这个概念上。严格来说，并不存在一个官方定义叫“TFM模型”的单一架构，它更像是一个统称，指向所有把Transformer结构用在表格数据上的模型家族。这个家族的内核，是“表格数据特征Token化+自注意力交互+前馈网络输出”三段式结构。下面用一个简化的结构图来拆解它：

原始表格行数据（一列一个字段） │ ▼ Feature Tokenizer（特征Token化） │ ▼ [Token_1] [Token_2] ... [Token_n] ← 每列特征被映射成一个固定维度的向量 │ ▼ Transformer/注意力堆叠层 ← 在这里，Token之间互相计算注意力权重 │ ▼ 池化 / [CLS] Token / 拼接 │ ▼ 预测头（分类/回归输出）

这个结构其实和NLP里的BERT序列不太一样。BERT的Token有位置编码，因为词序有含义；表格数据里，特征的顺序本身没有语义，所以TFM模型一般不强制加入位置编码，或者只加一个“可学习的列编号”向量来帮助模型区分不同列。这是一个很实际的工程细节——我见过有人直接把NLP里Transformer的位置编码搬到表格上，结果效果不升反降，就是因为位置编码让模型误以为特征之间有时序关系，反而引入了噪音。

特征Token化的具体实现可以稍微展开一点。假设你的表格有n个特征，其中m个是类别特征，p个是连续特征。类别特征通过查Embedding表，得到一个维度为d的向量；连续特征可以先用一个线性层（或者分箱后的Embedding，或者用数值编码器）映射到同样的d维空间。最终，一行样本被表示成一个形状为(n, d)的Tensor。这个Tensor可以理解成“一条由n个Token组成的序列”，每个Token的宽度是d。之后，标准的Transformer Encoder层在这个序列上做多头自注意力，让特征之间充分交互。

4.2 TFM模型在非线性拟合和特征交互上，到底比MLP“多会”了什么

要说清楚TFM比MLP强在哪里，得回到注意力机制的本质。MLP对特征交互的建模是“隐式且全局共享”的，每一层全连接的参数对所有样本都一样，模型很难针对不同的样本选择不同的交互路径。而自注意力机制是“动态”的：对不同的输入样本，Token之间的注意力权重不同。这意味着，模型可以根据每一条样本自身的特征取值，动态决定哪些特征交互参与决策。

举一个很直观的例子：在“预测用户是否点击广告”这个任务中，样本A是一位老用户，样本B是一位新用户。老用户的点击行为可能和历史点击率、设备型号的交互更相关；新用户的点击行为可能和落地页类型、广告创意的交互更相关。MLP对所有样本都使用同一套交互权重，它只能用一套“平均最优”的交互策略；而TFM可以对样本A和样本B分别算出不同的注意力矩阵，真正做到“看人下菜碟”。这种动态特征交互能力，是表格深度学习从MLP时代迈向注意力时代最核心的飞跃。

实际数据上的表现也确实能说明问题。在多个公开数据集（比如Forest Cover Type、Adult Census、Click Prediction）上，FT-Transformer的代表性实现相比传统MLP普遍有2到5个百分点的AUC提升。在特征交互密集的数据集上，甚至有一定概率超过调参良好的XGBoost/LightGBM。当然，这个结论也不能过度外推，要知道在很多低维、特征独立的表格数据上，TFM的优势并不明显，树模型仍然是更划算的选择。

4.3 TFM模型训练的几个独有细节：特征顺序、Attention Head、数值稳定性

关于TFM在实操中的注意事项，我想分享三个踩过坑之后总结出来的要点。

第一个是特征顺序不能随意摆放。虽然没有位置编码，但Transformer对Token顺序依然不是完全无感的，因为注意力矩阵的计算受Token顺序影响（自注意力的QKV计算中，特征的排列顺序会影响初始的注意力分布）。在实验中，我发现把相关性高的特征放在相邻位置，训练收敛更快，最终效果也略好。我常用的做法是先按照特征对目标变量的单变量相关性排序，再按相关性从高到低摆放特征Token，这个简单的小技巧对收敛速度有明显帮助。

第二个是Attention Head的数量不宜盲目增加。表格数据的Token数量通常不会太多，一般就是几十个到一两百个特征，每个特征语义比较集中，不像NLP里一个Token蕴含大量歧义需要多个Head去捕捉不同角度的语义。我尝试过头数从4增加到16，效果并没有显著提升，反而参数量涨了四倍，训练时间明显变长。在表格场景里，4到8个头一般就足够了，再往上边际收益极低。

第三个是数值稳定性。表格数据经过Embedding之后，不同Token向量的尺度可能会有较大差异，尤其是连续特征Embedding如果没做好归一化，很容易导致注意力权重偏向某个大尺度的Token，使其他Token的信息被压制。我的做法是在连续特征进入Embedding之前，先做rank Gauss归一化，也就是把连续值映射到标准正态分布的分位数上，这样能有效抑制离群值的影响。另外，注意力层输出之后接LayerNorm的时机也值得注意：Pre-LN比Post-LN在表格任务上通常更稳定，收敛更快，这其实和NLP里大模型训练的经验一致。

5. 性能与代价的权衡：TFM模型比XGBoost慢，凭什么选它

5.1 从决策树的“分裂查找”到Transformer的“矩阵运算”，计算模式完全不同

聊到TFM的缺点，最绕不开的就是计算效率。XGBoost和LightGBM的底层是直方图加速的分裂查找，对高维稀疏特征支持好，单机处理百万级数据毫无压力。TFM的底层是密集矩阵乘法和多头注意力计算，尽管近年有一些核融合和优化，但整体算力需求还是要高出一个量级。我在一个500万行、60个特征的数据集上做过对比：LightGBM训练到全量迭代大约需要十几分钟；FT-Transformer在小batch、GPU环境下训练到收敛，需要数小时。这个差距在业务项目中不是小数目。

但这并不意味着TFM完全没有用武之地。表格Transformer真正的优势场景有两个：一是特征含义复杂、交互关系强的数据集，比如推荐系统里的用户行为序列列、营销场景里的多触达特征、风险控制里的多种渠道交叉特征等；二是需要特征表示复用的场景，比如你打算做多任务学习、增量学习，或者希望预训练一套特征表示然后在下游多个任务上微调——这种情况下TFM的Embedding表示比树模型的叶子节点分布更灵活，泛化能力也更自然。

5.2 我在真实场景里对TFM的选型判断标准

基于上面的经验，我给自己定了一条简化的选型判断标准，在多个实际项目中验证过，分享出来仅供参考：

判断维度	更倾向选GBDT/XGBoost	更倾向选TFM表格Transformer
数据量级	百万级以内、特征维度中等	超大训练集（千万级以上）、算力充足
特征类型	大量稀疏类别特征、有大量缺失	密集数值特征、有复杂交互模式
推理延迟	在线实时推理、毫秒级响应	离线批量预测或延迟容忍度高
任务复杂度	单任务、特征工程到位	多任务、需要共享特征表示
团队资源	希望快速上线、少调参	有GPU环境和足够的时间做调参

这个表不是绝对的，但它能帮你在项目启动时快速判断方向。如果一开始就选错了路线，后面花再多时间调参也补不回来。

需要特别说明的是，表格Transformer不是某些营销号说的“横空出世能替代一切的存在”。它是在表格深度学习这条路上，把注意力机制引入数据建模之后，自然进化出来的产物。MLP时代那些归一化、Embedding、残差连接的积累，到TFM时代依然有效，只是在架构层面换了一种更聪明的组合方式。理解了这条演进脉络，你就知道为什么“从MLP到TFM”不只是一次模型升级，更是一次关于“如何让神经网络尊重表格数据天性”的认知升级。

5.3 训练TFM模型时绝对值得留意的工程细节

如果你决定在项目里试一试TFM，下面这几条工程层面的建议，是我踩过坑之后的浓缩经验。

第一，重视Embedding层的参数初始化。TFM的输入质量几乎完全取决于特征Token化的质量，如果Embedding初始化得不好，后续的注意力层会在垃圾输入上做计算，训多长时间都很难拉回来。推荐使用正态分布初始化，标准差设成embedding维度平方根的倒数，这个做法和NLP里常用的xavier初始化类似，实验下来比较稳。

第二，用学习率调度器而不是固定学习率。TFM的优化地形比较复杂，固定学习率很容易陷入震荡。我一般用Warmup+CosineAnnealing的组合：前10%的步数线性warmup到峰值学习率（比如3e-4），然后余弦退火到一个很小的学习率。这个设置几乎每次都能比固定学习率带来1到2个点的效果提升。

第三，如果不确定超参数怎么选，先做小规模超参搜索。我的经验是，embedding维度（16到64）、Transformer层数（2到6）、注意力头数（4到8）三个超参数对效果的影响最大。在小规模数据子集上先跑一轮随机搜索，再在完整数据上复现最优参数，这样能大幅节省GPU时间。

6. 从MLP到TFM的演进中，那些你没注意到的“隐藏主线”

6.1 数据处理范式的变化：从“手动特征工程”到“自动特征表示”

如果你只是盯着网络结构的变化，可能会漏掉一条更关键的暗线——数据处理方式的变化。MLP时代，表格深度学习的前置工作极其繁重：要对连续特征做归一化、分箱、WOE编码，要对类别特征做One-Hot或目标编码，要把所有特征拼接成一个固定维度的输入向量。这套流程非常依赖人工经验，而且往往需要针对不同数据集做定制化调整。

到了TFM时代，数据处理的范式发生了本质变化：每个特征列独立做Embedding，连续特征和类别特征统一映射到同一个向量空间，然后由网络自动学习特征之间的交互。这意味着你不再需要精心设计“特征之间的组合方式”，网络自己会通过注意力机制找到有效的组合。这不代表特征工程没用了，而是它的重心从“怎么把特征喂给模型”变成了“怎么定义特征的初始表示”——这一步看起来简单，实际上对语义的理解要求更高。

6.2 两种典型失败模式：特征太少时的过拟合，和特征太多时的注意力稀释

TFM架构还有一个容易被忽视的边界情况——特征数量极端时的表现。我分别踩过两个方向的坑，这里都说不仔细，免得大家重蹈覆辙。

特征太少时，比如只有五六个特征，TFM很容易过拟合。因为Transformer的核心优势在于建模高维特征的交互，如果特征本身就很少，模型参数相对输入信息量过多，注意力机制反而成了“记忆训练样本”的工具。我试过一个只有8个特征的小数据集，FT-Transformer训完，训练AUC接近1.0，测试AUC只有0.7，过拟合极其严重。这种情况下，MLP甚至GBDT都更容易控制方差。解决办法是给TFM加更强的正则化，比如更大的Dropout（0.3以上）、更小的embedding维度、Early Stopping，或者干脆不要用TFM。

特征太多时，比如几百个特征，又会出现“注意力稀释”的问题。每个Token在计算注意力时都要和其他所有Token交互，如果特征里有很多无关紧要的噪音列，注意力权重会被分散，真正重要的特征拿不到足够的注意力权重。我的经验是，在特征进入TFM之前，先用LightGBM做一个简单的特征重要性筛选，去掉重要性极低的列，或者用PCA把冗余的连续特征先降维。这个前处理步骤虽然“不神经”，但在实际工程中极其有效。

6.3 混合架构是新的趋势：TFM负责交互，决策树负责“兜底”

最后一个趋势我想重点提一下，因为它很可能是接下来表格深度学习的主流方向：TFM模型和GBDT混合建模。思路很简单，TFM负责提取高阶特征交互表示，GBDT在TFM的输出（通常是最后几层隐藏层向量）基础上做最终预测；反过来，GBDT的叶子节点分布也可以作为TFM的额外特征输入，让模型同时利用树模型的强单特征处理能力和神经网络的特征交互能力。

这个方向的代表性思路可以参考TabNet、NODE以及一些后续的混合工作，但真正让我觉得有价值的不是某个具体模型，而是这种“优势互补”的建模哲学。我在一个客户流失预测任务中尝试过“LightGBM + FT-Transformer集成”的方案：FT-Transformer的输出作为GBDT的额外特征，最终AUC比单独用任一模型高出接近1.5个百分点。训练成本虽然高了一些，但业务收益非常明显。

这也引出一个建议：不要把MLP、GBDT、TFM看成竞争关系，它们更像是不同工具，各有各的适配场景。真正成熟的数据科学团队，一定是在一个统一框架里动态组合这些工具，而不是抱死一个模型走到底。理解了这个逻辑，再回头看“从MLP到TFM的二十年”，你会觉得这条演进路线其实特别清晰——每一个新架构的出现，都是在解决前一个架构在特定问题上的短板，而不是简单地推翻重来。

7. 如果你想快速验证：最基础的一版TFM模型实战拆解

7.1 最小可运行的数据流：从原始表格到预测结果

讲了这么多理论，是时候给出一段可以直接上手跑的代码思路了。为了不让代码过于琐碎，我这里只给出核心的数据流骨架，完整代码在GitHub上很多开源库都有，比如pytorch-tabular这个库可以直接用。核心思想是让大家看到从原始表格到预测结果的完整链路长什么样。

import torch import torch.nn as nn class FeatureTokenizer(nn.Module): """把每列特征映射成固定维度的Token向量""" def __init__(self, feature_meta, d_model=64): super().__init__() self.d_model = d_model # 对每个特征，根据类型建立独立的编码器 self.encoders = nn.ModuleList() for meta in feature_meta: if meta['type'] == 'categorical': # 类别特征：Embedding查表，num_embeddings=类目数，embedding_dim=d_model self.encoders.append(nn.Embedding(meta['num_classes'], d_model)) else: # 连续特征：线性层将标量映射到d_model维 self.encoders.append(nn.Linear(1, d_model)) def forward(self, x_cat, x_num): tokens = [] # 类别和连续特征分别编码后，追加到同一个Token序列里 for i, enc in enumerate(self.encoders): if isinstance(enc, nn.Embedding): tokens.append(enc(x_cat[:, i])) else: tokens.append(enc(x_num[:, i].unsqueeze(-1))) # tokens: list of [B, d_model]，拼接得到 [B, num_features, d_model] return torch.stack(tokens, dim=1) class TFMBlock(nn.Module): """单层Transformer Encoder：多头注意力 + 前馈网络，带残差和LayerNorm""" def __init__(self, d_model, nhead, dim_feedforward, dropout=0.1): super().__init__() self.attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout, batch_first=True) self.ln1 = nn.LayerNorm(d_model) self.ffn = nn.Sequential( nn.Linear(d_model, dim_feedforward), nn.GELU(), nn.Dropout(dropout), nn.Linear(dim_feedforward, d_model), nn.Dropout(dropout) ) self.ln2 = nn.LayerNorm(d_model) def forward(self, x): # x: [B, num_features, d_model] attn_out, _ = self.attn(x, x, x) x = self.ln1(x + attn_out) ffn_out = self.ffn(x) x = self.ln2(x + ffn_out) return x class SimpleTFM(nn.Module): """简化版TFM：特征Token化 + 若干Transformer层 + 预测头""" def __init__(self, feature_meta, d_model=64, nhead=8, num_layers=4, num_classes=1, dropout=0.1): super().__init__() self.tokenizer = FeatureTokenizer(feature_meta, d_model) self.blocks = nn.ModuleList([ TFMBlock(d_model, nhead, d_model * 4, dropout) for _ in range(num_layers) ]) self.head = nn.Linear(d_model, num_classes) def forward(self, x_cat, x_num): tokens = self.tokenizer(x_cat, x_num) # [B, F, d_model] for block in self.blocks: tokens = block(tokens) # 对所有Token取平均池化（等价于一个简易的聚合表示） pooled = tokens.mean(dim=1) # [B, d_model] return self.head(pooled).squeeze(1)

这段代码看起来不长，但它把一个完整的TFM链路串起来了。FeatureTokenizer负责把每列特征变成Token序列，TFMBlock实现标准的Transformer Encoder结构，最后通过平均池化把多个Token的信息聚合成一个向量做预测。你拿到任何一份表格数据，先做一下数据类型标注（哪些列是类别、哪些是连续），然后就能用这套骨架跑起来。

7.2 训练时的关键超参数建议和几个坑

超参数方面，我从自己的几百次实验中总结了一个比较稳健的起点配置：

超参数	建议值	说明
d_model（Embedding维度）	32或64	特征多时64，特征少时32
nhead（注意力头数）	4或8	头数太多容易过拟合且效率低
num_layers（Transformer层数）	2到6	层数过深在小数据集上容易过拟合
dropout	0.1到0.3	特征多时用更大的dropout
batch_size	256到1024	根据显存和数据集规模调整
学习率	3e-4到1e-3	配Warmup+Cosine退火效果更好
优化器	AdamW	比Adam更稳，配合weight_decay=1e-5

有一个坑特别值得提醒：连续特征的缩放方式。很多人习惯用StandardScaler做z-score归一化，但这个做法对TFM并不一定最好。我在多个数据集上对比后，发现连续特征经过rank Gauss归一化（排序后映射到标准正态分位数）后，TFM的最终效果普遍优于z-score。原因是rank Gauss归一化对离群值更鲁棒，而且把连续特征的分位数关系也带了进来，等于变相加入了一些非线性变换的信息。

另外，训练TFM模型时，务必监控验证集损失而不是验证集AUC来Early Stop。AUC在训练早期上升很快，但后期变化平缓，容易让Early Stopping判断失误；损失函数的变化更平滑，对过拟合更敏感。这个小细节能让你的模型少训不少epoch，效果还更好。

7.3 从验证集到线上线下一致性：表格Transformer部署的三个提醒

最后聊几句部署层面的经验，因为模型效果再好，部署不上线也是白搭。

第一个提醒是Embedding表的序列化。TFM推理时第一步就要查Embedding表，这个映射关系的状态完全依赖训练时的特征编码顺序。线上服务必须保存一份训练时生成的“特征名→Embedding索引”映射文件，否则上线后特征顺序一对不上，结果全乱。很多初学者在本地跑通Demo后，直接把模型文件传到线上，结果特征列顺序不同导致预测结果和离线对不上，排查半天才发现是Embedding索引错位。

第二个提醒是推理延迟的优化空间。TFM的推理瓶颈主要在注意力层，如果在线推理延迟要求很严格，可以考虑做模型蒸馏：用训练好的大TFM模型去指导一个小型MLP学习输出分布。小模型的效果虽然达不到大模型的水平，但通常能保持90%以上的性能，同时延迟降低一个数量级。

第三个提醒是在线数据分布漂移的监控。GBDT对特征分布漂移相对不敏感，因为树分裂只依赖特征的相对顺序；TFM则对输入分布的变化敏感得多，尤其是Embedding层的输入空间一旦被改变，预测结果可能大变。因此，表格Transformer上线后，要对模型输入特征的分布做实时监控，一旦发现某个特征的分位数分布明显偏移，就要重新训练或微调。这一点在业务数据频繁变化的场景中尤其重要。

8. 写在最后：我实际用下来的个人判断

断断续续用了快两年表格Transformer，我的感受是：它确实不是万能的，但它把表格建模这个领域往前推了一大步。如果让我给团队推荐路线，我不会一上来就上TFM，而是会先跑一版LightGBM建立基线；当业务对特征交互的要求明显提高、或者有多任务/增量学习的诉求时，再引入TFM。你要是刚开始接触这个方向，建议先从FT-Transformer开源实现跑通，再自己动手写一套最小骨架。理解从Embedding到Token化再到自注意力交互这一层层递进的关系，比记住任何具体模型的默认参数都重要。

最后再分享一个小技巧：无论用MLP还是TFM，“把连续特征改成rank Gauss归一化的Embedding输入”这一个改动，几乎在所有表格深度模型上都能带来稳定的效果提升。如果你现在的表格模型卡在瓶颈上，别的先不用动，先试试这一条，大概率会有意外收获。