本文基于公众号「淚笑的赛博日记-起零衍迹实验室」的文章《从 Transformer 到 Jev —— 大模型架构的演进》扩写，并对原文涉及的关键事实做了一轮联网核对，核查结果列在文末附录。全文含 11 张图解。
2026 年 9 月 15 日，一家叫 TypeSafe AI 的公司发布了一个叫 Jev 的模型。它不生成文字。你给它一段材料（工单、日志、邮件、JSON），再附上若干问题，它直接返回各选项的概率——从选项里选一个、在等级上打分、或者判断某个陈述是否成立。多数查询约 100 毫秒。
它的创始人 Diogo Almeida 是 InstructGPT 论文的作者之一，在 OpenAI 负责过后训练。发布文章的第一句话就是问题所在：
"Models have been superhuman at chat for years, so where is all the automation?"
模型在闲聊上超越人类好几年了，可自动化在哪里？他的解释是：RLHF 训练出来的模型从设计上就是为"协助人"准备的——奖励模型拟合人类评分者的偏好，模型学会让回答看起来正确，而不是让概率反映真实的正确率。一个模型如果在 95% 的情况下能完成任务，却无法指出剩下的 5% 在哪里，就不能用于无人值守的自动化。
要讲清 Jev 站在什么位置，得回到 2017 年。有意思的是：这九年里，主流大模型的骨架几乎没变过。 变的是骨架之外的四个地方——训练方式、内部组件、输出方式，以及"两半拆不拆"。Jev 动的是最后一项，也是此前没人认真动过的一项。
图 1 演进主线。灰点 = 骨架与路线的确立；蓝点 = 只改训练方式；紫点 = 只改内部组件；绿点 = 改掉了输出方式。九年里只有最后两个绿点动了"结果怎么产生"这一环。
一、地基：为什么原始 Transformer 是"两半"
先不提术语。翻译这件事的本质是：进去一句英文，出来一句中文，两边长度都不固定。 你没法用一个固定尺寸的盒子装住任意长的句子。
所以最早的做法（RNN 时代的 seq2seq）就拆成两半——一半负责读懂，把整句话的意思压成一小团数字；另一半负责说出来，一边看那团数字，一边一个词一个词往外蹦。
2017 年的《Attention Is All You Need》把"两半"这个框架原样保留了（所以文章说，两段式本身并不是这篇论文的贡献），它真正换掉的是里面的循环：用注意力取代了 RNN。
图 2 读一次，写多次。这是整篇文章最重要的一张结构图。后面所有讨论的"改了哪一半""省掉了哪一步"，都是在这张图上做加减法。
它换掉的东西，为什么那么关键
注意力到底干了什么？用大白话讲：处理某一个词的时候，直接去句子里所有词那里"看一圈"，谁跟它关系近就给谁高权重，然后按权重把大家的含义加权求和。
经典例子是 "The animal didn't cross the street because it was too tired."——算到 "it" 的时候，"animal" 会拿到很高的权重，模型于是知道 it 指的是那只动物。
这一步为什么是硬门槛？因为 RNN 必须等第 n−1 个词处理完才能算第 n 个词，GPU 上几千个核心一大半在闲着；注意力一上来，所有位置同时算完。这不是一个学术上的漂亮，而是一个"能不能做大"的工程前提。 没有并行，就没有后来的千亿参数。
一句话记住这三个角色
Encoder ＝ 读的那一半，跑一次。Decoder ＝ 写的那一半，跑 N 次，每次要回头读一遍 Encoder 的输出（
cross-attention）。自回归 ＝ 每一步的输出去喂自己下一步的输入。模型实际处理的单位叫 token（分词器切出来的），中文约一个字到一个词，英文约一个单词或其一部分。
二、一条判据，分清所有路线
2018 年前后，研究者发现 Transformer 的这两个部件可以拆开单独用，而且各自适合不同的"练习题"。由此分出三条路线。
关键在于：这三条路线在层结构上几乎一样。真正的差别只有两条——注意力的可见范围（读输入时能不能看到后文），和预训练任务（训练时做的是填空还是续写）。
而可见范围的差别，用一张 5×5 的格子就能说清：
图 3 因果掩码长什么样。右边那张图右上角的灰色三角，就是 causal mask。原因很朴素：后面的词还没生成出来，不能偷看答案。
为什么判别的场景离不开双向
这一层想通了，后面全通。举一个具体的例子：判断"苹果"指的是公司还是水果。
图 4 "不能看后文"在两种任务里的含义完全不同。生成任务里后文还不存在，遮蔽它是刚需；判别任务里后文是已经拿到的输入，遮蔽它纯属自残。
三条路线对照
| 路线 | 代表 | 留了哪一半 | 注意力 | 预训练任务 | 擅长什么 |
|---|---|---|---|---|---|
| Encoder-only | BERT（2018.10） | 只留"读" | 双向 | 完形填空：遮住词，靠前后文还原 | 检索、推荐、内容审核这类高吞吐判别 |
| Encoder-Decoder | T5（2019.10） | 两半都留 | 编码双向 / 解码因果 | 遮住一段话，让 Decoder 补出来 | 翻译、摘要（输入输出形态固定） |
| Decoder-only | GPT-1（2018.06） | 只留"写" | 因果 | 续写：给定前文，预测下一个词 | 对话、代码、推理、工具调用 |
一个容易踩的坑：Decoder-only 里的 Decoder 已经不是那个 Decoder 了
图 2 里那个"会回头读上下文向量"的 Decoder，靠的是
cross-attention。但 Decoder-only 模型里的 Decoder 已经没有 cross-attention 了——因为它前面根本没有 Encoder 可读。它在结构上等价于"一个施加了因果掩码的 Encoder"，还叫 Decoder 纯属历史遗留。
所以判断一个模型属于哪条路线，看名字没用，只看两点：① 注意力是不是因果掩码；② 结果是不是逐 token 生成出来的。 文章后面讲 DeepSeek 时说它的 "encoder-decoder" 与翻译的两段式含义不同，根子就在这个命名混乱上。
三、Encoder-only：擅长什么，以及它到底差在哪
一句话定位：只留"读"的那一半，双向注意力，训练时做完形填空。它不生成任何文字，出口是一组概率。
这一节分两段：先讲它擅长什么、为什么；再回答一个最容易被搞混的问题——它跟 Jev 那一类模型到底差在哪。
图 5 Encoder-only 的数据流。和图 2 对比：没有 Decoder、没有 cross-attention、没有"接回输入"的回环。输入进去，一个向量出来，接个小分类头，概率就出来了。
擅长什么
一句话判断标准：任务形态是"输入一段文字 → 输出一个判断"，而不是"输入一段文字 → 输出一段新文字"。 前者是判别，后者是生成。Encoder-only 只做前者。
| 场景 | 具体任务 | 为什么合适 |
|---|---|---|
| 检索 / 召回 | 把文档和 query 各编码成向量，算相似度 | 一次前向就能编码，百万文档可以离线提前算好 |
| 重排 Rerank | 对召回的候选文档打分排序 | 打分本质是回归/分类，不需要生成任何文字 |
| 推荐 | 判断"这个用户和这条内容是否匹配" | 同上，且要高 QPS |
| 内容审核 | 是否违规、是否垃圾、是否敏感 | 毫秒级 + 可大批量并行，成本极低 |
| 意图 / 情感分类 | 客服工单路由、舆情判向、优先级 | 类别固定、标注充足时，比调 LLM 更准更便宜 |
| 向量化 / 实体抽取 | 句向量、NER 打标签 | 输出是每个 token 的标签，也不需要生成 |
为什么擅长这些
除了图 4 那条"双向可见"之外，还有两个机制在起作用：
① 出口不同——输出概率，不是输出文字
你在图 5 看到的那个概率面板，是网络直接算出来的，不需要先"吐"一个字符串再由外面解析。因此：延迟与"答案有多长"无关，不存在逐 token 串行的瓶颈，连 KV cache 都用不上（只跑一次，缓存没有意义）。
② 输出粒度天然匹配判别任务
判别要么要一个句级判断（整句一个标签），要么要词级标签（NER）。Encoder 的输出正好是"每个 token 一个向量"，取一个或取全部，接个头就完事。而如果用 LLM 做分类，你得让它 decode 出"technical"这一串字符，再由你的代码去解析——一个纯粹的字符串搬运环节，还顺带丢掉了概率信息。
那它为什么退出了通用能力竞争
注意，不是因为能力差，而是因为训练信号太稀疏。
续写任务在句子的每一个位置都能出一道题：100 个词 = 100 道题。
填空任务只能在被遮住的少数位置出题：遮 15% = 15 道题。
同一批文本，Decoder-only 拿到的训练信号密好几倍。而 BigScience 团队 2022 年的系统对比（Wang 等，arXiv:2204.05832）给出了经验结论：
[已核实] Wang 等 2022 年的实验设计
论文《What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?》，2022 年 4 月 12 日提交 arXiv。作者来自 Hugging Face / Google / LightOn / AI2，6 个超过 50 亿参数的模型，每个训练 1680 亿 token，覆盖 3 种架构（因果 decoder-only、非因果 decoder-only、encoder-decoder）× 2 种目标（自回归、掩码语言建模），在 2 个基准的 30 个任务上评测（含/不含多任务提示微调）。
结论： 只做纯无监督预训练时，因果 decoder-only + 自回归目标的零样本泛化能力最强；而非因果可见性 + 掩码目标，在加上多任务微调之后表现最好。行业恰好把资源全押在了前者。
使用范式：预训练 + 微调，以及它的代价
图 6 两段式使用范式。"类别写进参数"这句话，指的就是第 ② 步——分类头的输出维度在微调时被定死。
顺带补一句：这条路线并没有死。2024 年的 ModernBERT 就是例证——它是 Answer.AI 与 LightOn 在 2024 年 12 月发布的当代版本，base 1.49 亿参数 / large 3.95 亿参数，上下文从 512 拉长到 8192，把 RoPE、GeGLU、FlashAttention 2 这些 LLM 时代的组件搬回了 encoder。[已核实]
选项写进输入，这件事 encoder 早就会
前面说"类别写进参数"，指的是微调分类器的任务边界在训练时就被定死了。但这句容易带出一个误解：好像"把选项写进输入、直接读出概率"是 Jev 这一类新模型才有的本事。
不是。这套用法在 encoder 时代（2019–2020）就已经成熟了，而且它跟"选项放输入还是放参数"根本无关。真正要分清的是这一点：它构成的是 Laya 与"类别写死在参数里的微调分类器"之间的差别，而不是与 encoder-only 这个架构之间的差别。
换句话说，"读概率"这件事本身早就是常规操作；真正的差别在底下的理解能力，而不在选项放在哪儿。
encoder 时代是怎么做的：把标签写成一句"假设"
最典型的做法叫 zero-shot NLI 分类，由 Yin、Hay、Roth 在 EMNLP 2019 的论文《Benchmarking Zero-shot Text Classification》提出 [已核实]：
把待分类的文本当作 premise（前提）；
把每个候选标签套进一句模板，做成 hypothesis（假设），比如
This text is about {label}；送进一个在 MNLI 上预训练过的 BERT 做 NLI 判断（蕴含 / 中立 / 矛盾）；
取"蕴含"的概率作为这个标签的得分——选项就在输入里，出口就是概率，不需要为新任务训练。
图 7 选项写进输入，encoder 时代就在做。注意"选项 N 个 → 跑 N 次"这一行，它是 Laya 后面要改进的地方。
| 做法 | 输入长什么样 | 出口 | 时间 |
|---|---|---|---|
| Zero-shot NLI 分类 | 文本 [SEP] "这句话在说{标签}" | 蕴含概率（每个标签跑一次） | 2019–2020 |
| Cross-encoder 重排 | [CLS] query [SEP] document | 一个相关性分数（每个候选跑一次） | 2019 起广泛使用 |
| Laya 的做法 | 指令 + 每个选项前放 [MASK] + state | 各选项概率，softmax | 2026.09 |
三者共同点完全一致：选项（候选）是输入的一部分而不是参数的一部分，出口是概率而不是文字。 所以"一次前向读概率"这件事，encoder-only 用 4 亿参数就做到了——它不是 Jev 的护城河。
那真差距在哪？就一个字：指令
图 8 差距不在这两块之间，而在这两块之上。左侧是"记住几个模板"，右侧是"读懂一段任意写的话"。跟"选项放输入还是放参数"完全无关。
再补一条数据：Yin 等人的原始实验里也有同样的限定——他们明确说过这个方法对模板质量非常敏感。换个领域就得重新设计模板，这本身就是"指令不够通用"的证据。[已核实]
Laya 相对微调分类器，往前走的是哪三步
相对一个典型的、类别固定的 BERT 分类器，Laya 的真正差别是这三条，都不在"选项放哪"：
多选项压进一次前向。 传统 cross-encoder 是"1 个 query × 1 个候选 = 1 次前向"，N 个候选跑 N 次（图 7 里那行"选项 N 个 → 跑 N 次"）。Laya 靠在每个选项前塞一个
[MASK]、之后在[MASK]位置取隐向量打分，把同一问题的所有选项压进一次前向。多问题共享同一段 state。 每个问题拼一条序列，指令和选项在前、state 接在最后，一次请求可以带若干个问题。
把"概率校准"当成训练目标。 传统分类器只管 argmax 对不对，不关心概率准不准；Laya 和 Jev 明确以校准为目标。Laya 的 RLCD 奖励用严格恰当评分规则（strictly proper scoring rules），使得模型唯一能最大化奖励的方式就是报告诚实的概率。
[推断] 一条文章没说、我从它的设计里推出来的结论
Laya 与 Jev 在"多问题并行"上的能力其实不对等，原因是双向 encoder 没法复用 state：
Jev（因果）：state 放前面，后面的问题只往后看 → state 算完就固定了，可以复用。所以文章说它"同一请求里增加问题几乎不增加耗时"。
Laya（双向）：state 放在序列末尾，前面每个
[MASK]都要 attend 到它——反过来，state 的表示也会被前面的问题影响。所以每加一个问题，state 都得重新编码一遍。这不是实现细节，是双向注意力的结构性后果："前缀可缓存"是因果掩码给的红利。 类型安全 AI 的创始人后来专门写过一篇题为《The Tyranny of the KV Cache》的笔记，谈的正是 KV cache 效率如何支配执行成本。
四、Decoder-only 为什么赢：prefill 与 decode
对 Decoder-only 模型来说，"理解输入"与"生成输出"并不对应两个网络，而是同一个网络、同一套参数在推理时的两个阶段。
图 9 prefill 与 decode。这两个词是理解后面所有性能优化的前提：首字慢 = prefill 慢，生成慢 = decode 慢，两者瓶颈完全不同（一个吃算力，一个吃显存带宽）。
"输出读取输入"这件事在 Decoder-only 里同样发生，只是不再通过 cross-attention，而是通过普通的自注意力：回答的每个 token 与 prompt 处于同一条序列，直接查看 prompt 各位置的键、值即可。
它成为主流的三个原因
| 原因 | 说明 |
|---|---|
| ① 训练信号更密集 | 续写任务在每个位置都能出题，每个词都是前文的预测目标；填空只能在被遮的少数位置出题。同样一批文本，前者提供的信号多得多。 |
| ② 任务形态统一 | 对话、代码补全、思维链、工具调用都可以表述为"在同一序列上继续生成"，不需要为每类任务重新定义输入输出边界。GPT-3 的上下文学习能力正是这种统一带来的。 |
| ③ KV cache 可以复用 | 因果掩码保证已处理 token 的键值不受后续内容影响，多轮对话与 agent 循环只需追加。双向 Encoder 不具备这一性质。 |
把 ②③ 连起来看，就是第三章里那条推断的来源
第 ③ 条是一条结构性红利，不是调优技巧。它决定了：同样的"读一次输入、回答多个问题"的需求，因果底座天然能缓存、双向底座天生要重算。 所以 Jev 拿因果 Transformer 当底座不是随手选的。
五、改训练方式：RLHF 与推理模型
ChatGPT 是 2022 年 11 月发布的对话产品，此后从 GPT-3.5 一路更新到 GPT-4、GPT-4o、o 系列直到当前的 GPT-5.x。它的对话能力并非来自结构上的变化，而是预训练之后的若干轮后训练。 2024 年之后的推理模型（OpenAI o1、DeepSeek-R1）同样没有改变架构，而是通过强化学习让模型在给出答案之前先生成较长的思考过程。
RLHF 做了什么，以及它的代价
RLHF 的做法是：由人对模型的多个回答排序，训练一个奖励模型去拟合人的偏好，再以强化学习使模型输出向高奖励方向偏移。这使输出风格贴近标注者的偏好，但代价是概率不再诚实。
图 10 RLHF 把校准打坏了。这不是传闻——GPT-4 技术报告原文的图 8 就是这组对照：预训练模型 ECE ≈ 0.007，RLHF 后 ≈ 0.074，约 10 倍恶化。[已核实]
注意这张图对我们的意义：不是"RLHF 有问题"，而是"为了对话体验，概率的诚实性被牺牲掉了"。 这正是 Jev 那套 RLCD 的立足点——它把校准本身当成优化目标。
推理模型的思考过程本身仍是逐 token 的自回归生成，只是不呈现给用户。它提高了数学、代码等可验证任务上的能力，代价是单次回答的延迟从秒级提高到分钟级。
六、改内部组件：MoE 与 KV cache 压缩
2026 年的两个开源模型是很好的观察样本：9 月发布的 DeepSeek-V4.1-Flash 与 8 月开源的 Qwen3.8-27B。两者仍然是自回归、逐 token 生成的 Transformer，prefill 与 decode 两阶段、后训练流程均原样适用。近几年的架构创新没有改变这一骨架，而是集中在骨架内部的组件上，目标基本一致：在同等能力下降低计算量与显存占用。
变化一：前馈网络改为 MoE（混合专家）
图 11 稠密与 MoE。DeepSeek-V4.1-Flash 总参数 552B、每 token 激活 16B；Qwen3.8-27B 则是 27B 全部激活的稠密模型。[已核实]
变化二：KV cache 的压缩
长上下文与 agent 场景下，缓存占用会超过权重本身。各家路径不同：
| DeepSeek-V4.1-Flash | Qwen 线（自 Qwen3-Next 起） | |
|---|---|---|
| 思路 | 压缩缓存本身：低维潜向量 + 稀疏选择 + 跨层复用 | 换掉缓存：用固定大小的状态替代逐 token 缓存 |
| 具体做法 | CSA2（Compressed Sparse Attention 2）在层间复用 KV 与索引状态，主 KV 用 FP4 存储；另有 SWA Bounded Replay 处理 SSD/内存层 | 每 4 层中的 3 层替换为 Gated DeltaNet 线性注意力，第 4 层保留全注意力（3:1 混合布局） |
| 实测规模 | 全局 KV 缓存压到 890 字节/token，约为上一代的 1/4；持久层约 1/8 | Qwen3-Next 48 层 = 36 层线性 + 12 层全注意力，原生上下文 262K |
| 代价 | 实现复杂度高，压缩本身需要新的注意力模式调度 | 固定状态对精确的远程检索能力弱于全注意力，故必须保留部分全注意力层 |
[已核实] DeepSeek 的"因果 encoder-decoder"是什么
DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder（CED） 把 40 层分成 20 层因果 encoder + 20 层 decoder，prefill 每 token 只激活约 8B 参数，decode 约 16B——因为 agent 负载是"输入重"的，省 prefill 才是省在大头上。
但请注意：这和第 2 节那个面向翻译的两段式结构含义完全不同。 它的 encoder 仍然是因果掩码的，整个模型仍然是标准的自回归语言模型，只是 decoder 层不再自己去算全局键值、而由前段投影得到。这也是文章那句提醒的由来：判断路线看的是"是否因果 + 是否逐 token 生成"，不是看名字。
另外，Qwen3.8-27B 本身是 27B 稠密（Dense）模型、原生多模态、262K 原生上下文（YaRN 可外推至 1M），量化后消费级显卡即可运行——它代表的是另一条思路：不追参数规模，而是把前沿能力蒸馏进可自部署的小模型。 [已核实]
七、改输出方式：Jev 与 Laya
Jev 为什么要另做一类模型
TypeSafe AI 于 2026 年 9 月 15 日发布 Jev（名字取自 William Stanley Jevons——"越便宜的煤烧得越多"，寓意越便宜的智能会产生越多值得自动化的决策；"System One"取自卡尼曼的快慢两种思考，LLM 被归为慢的系统二）。创始人的论证很直接：RLHF 训练出来的模型从设计上就是为协助人而准备的——模型学会让回答看起来正确，而不是让概率反映真实的正确率。
TypeSafe 把自己的方法 RLCD（Reinforcement Learning for Calibrated Decisions）与 RLHF、RLVR 并列为第三种后训练范式：前两者分别优化人类偏好和可验证奖励，RLCD 优化校准的决策。
三种原语
每次请求提供一段state（待判断的材料，可以是字符串、JSON 对象或数组），再附上任意数量的问题。问题限定为三种原语：
| 原语 | 问题类型 | 返回 | 示例 |
|---|---|---|---|
| Choice | 从最多 255 个选项中选一个 | 各选项的概率 + 一个置信度 | 这张工单应交给哪个团队 |
| Score | 在 2–10 个有序等级中评级 | 概率加权的分数 | 客户的不满程度 |
| Noul | 判断一个陈述是否成立 | 一个 0–1 的概率 | 这条消息是否紧急 |
官方指标：多数查询约 100 毫秒（官方口径 70–500ms），同一请求内增加问题几乎不增加延迟；每百万输入 token $0.042，输出免费；仅支持文本，英语为主；不开源。注意这些数字均为 TypeSafe 自报，用自家 benchmark 与自家对比，未经独立验证——社区评测也指出，"不会幻觉"实际含义只是"不可能返回格式错误的结果"，它仍然可以"自信地答错"。
它和 JSON mode 差在哪
这是全文最容易被误解的一处
Jev 很可能以预训练的 Transformer 作为底层网络，它能理解任意自然语言问题的能力就来自这里，这一部分与 LLM 同源。不同的是结果的产生方式。
LLM 无论输出普通文本还是 JSON，都要经过 decode 阶段逐 token 生成，再由调用方解析字符串；Jev 在 prefill 之后不进入 decode，而是直接从网络中读出每个问题在各选项上的概率分布。
这与给 LLM 加强制 schema（JSON mode、structured output 之类）不是一回事：后者只是约束了生成出来的字符串的格式，逐 token 生成的过程一步没少；前者根本没有生成过程。发布文章把这一区别写作"串行采样"与"并行采样"，所谓"类型安全"也由此而来：输出被限定在给定选项上，不可能出现选项之外的内容。
另一个参照是第三节那个 BERT 分类器。两者计算形态最接近，都是读取输入一次、直接给出类别概率。区别在任务怎么指定：BERT 分类器的任务在微调时写进参数，类别固定；Jev 的问题与选项是请求的一部分，调用时用自然语言写出。这种通用性来自 LLM 级的底层网络——这一点第三章已经讲过：差的是底座那层理解能力，跟选项放输入还是放参数无关。
Jev 的内部推断
[推断] 以下不是官方信息
官方没有公开架构，只有"新的模型架构、并行采样器、RLCD 训练方法"几句。但从 API 的行为可以推断它的形态：
同一请求里增加问题数量几乎不增加耗时 → state 只读取一次、各问题并行处理；
255 个选项与 2 个选项耗时相同 → 没有逐 token 解码；
选项的位置会影响准确率 → 符合因果 Transformer 的特征。
较可能的实现是：以预训练的因果 Transformer 为底层网络，对 state 做一次 prefill，各问题连同选项作为并行分支同时前向，在每个选项末尾读出分数、对同一问题的选项做 softmax，并用合成数据训练概率的校准度。官方所称的"新架构"，更可能指这套分支 + 读出头 + 训练目标的组合，而不是新的注意力机制。
Laya：一个诚实的数据对照
Jev 发布三天后的 9 月 18 日，Convai Innovations 的 Nandakishor M 以 Apache 2.0 开源了 Laya，定位是"33 毫秒的开源 System 1 决策引擎"，社区普遍称之为开源版的 Jev。它的底层网络是公开的：ModernBERT-large，一个 4.21 亿参数的双向 encoder，即 Encoder-only 路线的当代版本。
它的结构可以从开源代码直接读出：每个问题拼成一条序列——问题类型和指令在前，各个选项在中间，每个选项前放一个[MASK]标记，state 接在最后。序列经过 encoder 和决策头后，在每个[MASK]位置取出隐向量打分，对同一问题的所有选项做 softmax。三种原语与 Jev 相同，训练目标同样是概率的校准。发布版本给出的概率整体偏高，作者建议使用者先在自己的数据上做一次校准，再依据概率做决策。
[核查后补充] 原文没说的：Laya 并非全面落后
原文的落点是"同样的输出方式装在 4 亿参数的 BERT 上，零样本判断的表现远不及 Jev"。这个判断对底座零样本是成立的——Laya 的底座 checkpoint 在 typed-decisions 任务上不微调时接近随机。
但第三方整理的数据给出了更完整的画面（同一测试集 17,416 题，单张 T4）：
| 任务 | Jev 1.13.0 | Laya（路由后） | 谁更好 |
|---|---|---|---|
| typed-decisions（2,000 题） | 0.727 | 0.766 | Laya +3.9 |
| AG News（4 类） | 0.910 | 0.950 | Laya +4.0 |
| DAIR Emotion（6 类） | 0.480 | 0.595 | Laya +11.5 |
| Banking77（72 vs 77 个选项） | 0.870 | 0.425 | Jev +44.5 |
| ECE 校准误差（越低越好） | 0.246 | 0.081 | Laya 好约 3 倍 |
| 单问题延迟（T4） | 236–276 ms | 32.8 ms | Laya 快 7–8 倍 |
这组数字要打的折扣
① Jev 的数字来自第三方 benchmark，不是与 Laya 的正面对拍；② Laya 的优势成绩部分来自针对评测集微调后的 checkpoint，而它自己的底座零样本接近随机；③ 双方都比对"自己擅长的那一类"。所以不要把这组表读成"Laya 赢了"。它真正说明的是文章那个结论的边界在哪：在选项数中等（约 25 个以内）的判别任务上，4 亿参数配上专门训练就够了；一旦选项数上去（50+），零样本理解能力的差距立刻暴露——Banking77 上差 44 个点。
还有一个数据点值得单独拎出来：Laya 的 4.21 亿参数版，是一个人用一张 RTX 6000 Pro（96GB）训出来的，单次前向约 35 毫秒。 这个成本量级恰好印证了那句话——读出方式（一次前向读概率）不难，4 亿参数 + 单卡就能实现；难的是读出方式之下那层"零样本读懂任意问题"的理解能力。
Laya 还额外提供了 3.22 亿参数的mmBERT-base多语言版本（覆盖 100+ 语言）和一个内置路由器，按输入语种自动分发；同时诚实标注了自己的边界：底座零样本接近随机、选项超过 50 个准确率骤降、有序打分是最弱的一项、英文版对非拉丁文字会失效。它开源三天在 GitHub 上拿到 6,700+ star，也说明开发者对"快速决策层"这个位置确实有需求。
所以 Jev 的定位
它没有引入新的 Transformer 结构，而是把"向语言模型提选择题、只读概率不让它生成"这种长期以 hack 形式存在的用法做成了产品，并把概率的校准作为训练目标——这两件事恰好是面向对话的 LLM 长期不在意的。
官方的独立评测都显示，在拆分好的判断类任务上，它的准确率与中等推理预算的前沿模型相当，成本与延迟低约两个数量级；同时在不熟悉的领域概率会失准，也不能做数值计算和多步推理。它保留了 LLM 的理解能力，去掉了生成，因此不能写、不能思考、不能作为 agent 运行，换来的是百毫秒级的延迟和可以直接用于程序判断的概率。
一句话概括这个位置
Jev 不是 LLM 的替代，而是同一底层网络在另一类任务上的另一种用法。是否适用，取决于你的任务需要的是自由的文本生成，还是在有限选项之间做出判断。
八、结语：九年只改了三件事
回到开头的问题。从 Transformer 到今天，主流模型的骨架没有变过：
ChatGPT 与推理模型改变的，是训练方式；
DeepSeek 与 Qwen 改变的，是内部组件；
Jev 保留了这套骨架的读取部分和 LLM 级的理解能力，去掉了生成部分。
而 Laya 的对照说明了一件很值得记住的事：去掉生成这一步本身并不难，难的仍是底层网络的理解能力。
最后留一条判据
判断一个模型属于哪条路线，看名字没用，只看两点：① 注意力是不是因果掩码；② 结果是不是逐 token 生成出来的。 把这九个模型往里套，一个都不会错。
附录：事实核查清单
本文对原文涉及的关键事实做了一轮联网核对，结果如下。
| 事项 | 核查结果 |
|---|---|
| Wang 等 2022 年的架构/目标对比结论 | 准确 arXiv:2204.05832，2022-04-12，BigScience；6 个 >5B 模型、168B token、30 个任务 |
| GPT-4 后训练导致校准性下降 | 准确，可补数字 技术报告图 8：预训练 ECE ≈ 0.007 → RLHF 后 ≈ 0.074（约 10 倍） |
| ModernBERT 是 Encoder-only 的当代版本 | 准确 2024 年 12 月，Answer.AI + LightOn；base 149M / large 395M |
| DeepSeek-V4.1-Flash 的总参数与激活参数 | 准确并更精确 552B MoE；decode 激活 16B、prefill 只激活 8B；KV 压到 890 字节/token |
| Qwen3.8-27B 是稠密模型 | 准确 2026-08-14 开源，27B 全激活、原生多模态、262K 上下文 |
| "Laya 是 BERT 分类器往前走一步" | 表述含糊 encoder 自 2019 年起（zero-shot NLI 分类）就能把选项写进输入；真差别在底座理解能力，见第三章 |
| "Laya 零样本远不及 Jev" | 不完整 底座零样本确实接近随机；但微调版在多个任务上反超，且校准误差好约 3 倍；崩点在 50+ 选项 |
| Jev 的架构 | 官方未公开 文中所有内部机制描述均标注为推断 |
参考来源
l3yx，《从 Transformer 到 Jev —— 大模型架构的演进》，淚笑的赛博日记-起零衍迹实验室，2026-09-22。
Vaswani et al., Attention Is All You Need, 2017.
Thomas Wang et al., What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?, arXiv:2204.05832, 2022.
OpenAI, GPT-4 Technical Report, 2023（图 8 校准对照）。
Wenpeng Yin, Jamaal Hay, Dan Roth, Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach, EMNLP 2019.
Answer.AI / LightOn, Finally, a Replacement for BERT（ModernBERT），2024-12.
Yang et al., Gated Delta Networks: Improving Mamba2 with Delta Rule, ICLR 2025, arXiv:2412.06464.
DeepSeek-AI, DeepSeek-V4.1-Flash Technical Report（Causal Encoder-Decoder / CSA2 / FP4 KV）。
TypeSafe AI, Introducing System One Models & Jev，2026-09-15.
Convai Innovations / Nandakishor M, Laya（Apache 2.0，ModernBERT-large），2026-09-18。
说明：文中标注 [已核实] 的为联网核对过的公开事实；标注 [推断] 的为基于 API 行为或架构设计的推测，非官方信息。Jev 的具体架构官方从未公开，请勿当作事实引用。
