简介：C-EVAL 是首个面向中文语境、系统评测基础模型高级知识与推理能力的多级多学科评估套件，面向自然语言处理研究者、大模型评测从业者及关注中文场景模型表现的技术人员。其题目覆盖中学、高中、大学与专业四个难度层级，横跨人文到理工共 52 个学科，并附有高难子集 C-EVAL HARD 用于考察复杂推理；实验显示仅 GPT-4 平均准确率超过 60%，说明现有模型仍有较大提升空间。资源包共 1 个 PDF 文件，约 4.89MB，完整呈现该评测套件的设计动机、题目构成、评测流程与实验结果分析，便于读者理解基准构建思路并对照自身模型能力短板。目前已有 76 人学习，适合作为中文大模型评测与推理能力研究的参考材料。
1. 中文大模型评测：为什么“翻译一遍英文题”根本不够
一个反直觉的事实：把 MMLU 逐题翻译成中文喂给模型，测出来的分数几乎没有参考价值。原因不在翻译质量，而在题目本身携带的地域知识分布——英文基准里的法律题考的是判例体系，历史题考的是另一套叙事脉络，社会常识题默认的公共机构、职业资格、政策语境全都对不上。模型答对这类题，说明它掌握了那套语境，而不是说明它懂中文世界。C-EVAL 要解决的就是这个错位：用 13948 道真实中文考试选择题、覆盖 52 个学科、横跨中学到专业资格四个难度层级，去测基础模型在中国语境下的高级知识与推理能力。搞懂它的构造逻辑，你才能判断一个榜单分数到底在说什么，也才能明白为什么多数模型在 C-EVAL HARD 上只能拿到接近随机的准确率。
2. 难度分层与学科覆盖：评测套件怎么把“能力”拆成可测量的维度
C-EVAL 的第一个设计决策不是“出多少题”，而是“按什么维度切分能力”。如果只按学科切，你会得到 52 个互不相关的分数，无法回答“这个模型到底强在哪一层”。所以它同时引入了两条正交的切分轴：难度层级和学科门类。这两条轴交叉之后，每个题目都落在一个二维坐标上，评测结果才能从“总分”下钻到“某难度某门类的表现”。
2.1 四个难度层级：从中学到专业资格的能力阶梯
难度层级分为中学、高中、大学、专业四档，题量分布是 1409、1594、6249、4696。这个分布本身就有信息量：大学层级题量最大，接近总量的一半，说明套件的重心放在“大学水平学科知识”上，而不是把中学题堆量充数。中学层只保留 7 个学科，高中 8 个，大学 25 个，专业 12 个。
为什么难度要分四档而不是两档？因为模型能力在不同层级上的衰减曲线不一样。一个模型可能在中学化学上接近满分，到大学化学就掉到及格线附近，再到专业资格（比如注册电气工程师、注册会计师）直接崩到随机水平。如果只给一个混合总分，这条衰减曲线就被平均掉了。分层之后，你能看到模型的知识边界具体卡在哪一级——这对定位训练数据的缺口非常直接。
学科选择也不是随手凑的。中学和高中层级覆盖中国标准学科，但刻意排除了英语和中学语文：英语不属于“中文语境知识”的考察目标，中学语文则以主观题为主，选择题太少，不适合统一的多选格式。大学层级从官方本科专业目录的 13 个门类里每类至少抽一个代表学科，保证覆盖面；专业层级参照国家职业资格目录，选了医师、法律职业资格、公务员、注册消防工程师等 12 个代表性资格。这套选法背后的原则是：题目要能反映中文用户真实关心的知识领域，而不是为了凑学科数量。
2.2 52 个学科的四类聚类：STEM、人文、社科、其他
52 个学科再聚成四大类：STEM 20 科 4495 题，人文 11 科 2676 题，社科 10 科 2845 题，其他 11 科 3932 题。这个聚类不是为了好看，而是为了让“能力画像”有可解释的结构。STEM 类偏重计算和公式推导，人文类偏重记忆与文本理解，社科类介于两者之间，其他类包含体育、艺术、导游资格等更贴近日常知识的学科。
一个容易被忽略的细节：题量在四类之间并不均衡，STEM 题最多，人文最少。这不是设计缺陷，而是源数据的自然结果——理工科考试的选择题比例天然高于人文科目。评测时如果直接看四大类平均分，STEM 的权重会偏大；更稳妥的做法是按学科先算分再类内平均，避免题量大的学科主导结论。这一点在解读榜单时经常被踩坑，后面排查章节会展开。
2.3 为什么只收四选一选择题：指标清晰与能力代理
整套题统一为四选一、唯一正确答案。这个约束看起来保守，实则是评测工程上的关键取舍。选择题的指标定义毫无歧义——准确率就是答对数除以总数，不需要处理生成式任务的评分歧义（比如 BLEU 对语义等价的不敏感、人工评分的方差）。同时，四选一意味着随机基线固定在 25%，任何分数都能立刻对照“是否显著高于瞎猜”。
更深的动机是：选择题是高级能力的“代理指标”。一个模型要答对大学物理的单选题，往往需要先做正确的推理再落到选项上，这个推理过程可以被 few-shot 思维链（CoT）提示激发出来。也就是说，选择题格式不妨碍测推理，反而因为答案空间被压缩，让推理失败更容易被观测到——模型推理错一步，最终选项就错，不会像自由生成那样被部分正确的表述掩盖。
提示：四选一也带来一个隐性偏差——模型可能靠选项分布或表面模式猜对。C-EVAL 在数据处理阶段对超过四个选项的题随机丢弃错误选项、对不足四个选项的题直接剔除，就是为了让每个题的选项数一致，减少格式线索。
3. 数据污染防控：为什么题目来源比题目本身更关键
基准测试最怕的不是题太难，而是题太“旧”——旧到已经被爬进预训练语料。一道高考真题在网上流传十几年，模型很可能在预训练阶段见过原题和答案，测出来的高分是记忆而非能力。C-EVAL 在数据来源上做了一整套防污染设计，这套设计的思路值得单独拆开看，因为它决定了榜单分数的可信度上限。
3.1 避开全国统考真题：模拟题与地方卷的选择逻辑
数据的主要来源是网络上公开的模拟考试，以及部分高校的期末或考研模拟题，而不是全国统一考试的真题。这个选择直接偏离了此前一些中文基准的做法——那些基准直接采用官方统考原题，题面权威但污染风险高。模拟题虽然权威性稍弱，但流传范围小、被爬取的概率低，作为评测题更“干净”。
还有一部分大学层级的题目来自高校学生公开分享的往年题，以及约 2000 道经授权收录的考研模拟题。授权收录这部分值得注意：它不是免费公开资源，而是走了正式授权流程，说明套件在数据合规上是有意为之，而不是随手抓取。对使用者来说，这意味着题目来源可追溯，出现争议时有据可查。
3.2 PDF 与 Word 解析：从非结构化文档到结构化题目
多数样本的原始形态是 PDF 或 Word 文档，而不是现成的纯文本题库。这个细节常被忽略，但它恰恰是防污染的又一层屏障：从 PDF 解析出来的题目，格式噪声多、排版信息混杂，和网上直接可爬的纯文本题库在分布上不同，模型在预训练中“原样见过”的概率更低。
解析流程是自动优先、人工兜底：能自动解析的走脚本，解析不了的由标注者手工整理成结构化格式。STEM 学科里大量公式需要手工转成标准 LaTeX，并保证语法无错。这一步的工作量极大，但换来的是题目格式统一——每道题都有题干、四个选项、正确答案，开发集还额外带解析。统一格式是后续自动化评测的前提，格式不统一，评测脚本就得为每个学科写特例，维护成本会失控。
3.3 开发集、验证集、测试集的切分与用途
每个学科至少处理约 200 道题，然后在学科内部随机切分：开发集 5 题、验证集与测试集按 1:9 分配。最终总量是开发集 260 题、验证集 1346 题、测试集 12342 题。
开发集的 5 题不是随便选的，它们是 few-shot 评测的示例，而且带有人工标注的解析，专门服务于 few-shot CoT 场景。验证集用于调超参数，测试集才是报告分数的部分。这个切分比例（验证:测试 = 1:9）意味着验证集很小，调参空间有限——这是有意的约束，防止有人在验证集上过拟合后再去刷测试集分数。测试集占绝对大头，保证最终指标统计稳定。
注意：开发集的 5 题示例是跨学科共享的固定示例，不是每个学科各 5 题。使用时如果误以为每科都有独立示例，few-shot 提示的构造会出错。
4. 思维链解析数据：few-shot CoT 的示例从哪来
C-EVAL 不只支持“只答选项”的评测，还支持 few-shot 思维链。CoT 需要示例里带推理过程，而原始考试题大多只有答案没有解析。这批解析数据的生成方式，是套件里工程含量较高的一块。
4.1 自动生成加人工标注的两段式流程
流程分两步：先用 GPT-4 对开发集的每道题生成逐步解析，解释为什么正确答案是对的；再由人工标注者审核和修正。自动生成保证了覆盖率和初稿速度，人工审核保证了质量——GPT-4 生成的解析可能有推理跳跃或事实错误，直接拿来当示例会污染提示。
为什么只对开发集做解析，而不是全量？因为 CoT 示例只需要少量高质量样本就够用，5 个示例足以引导模型的推理格式。对 13948 道题全部生成解析既没必要，也会引入大量未审核的低质文本。这个取舍很务实：把人力集中在影响最大的 260 道开发题上。
4.2 解析数据的结构：答案、推理步骤与 LaTeX 公式
每道开发题的解析包含正确答案和分步推理，STEM 题里的公式以 LaTeX 形式嵌入。这个结构直接决定了 few-shot 提示的模板长什么样：题干 + 选项 + “答案是 X” + 推理文本。推理文本里的公式必须能被模型正确解析，否则示例本身就成了噪声。
从机制上看，带解析的示例比只给答案的示例更能激发推理行为。只给答案时，模型倾向于直接输出选项字母，跳过推理；给了推理步骤，模型会模仿“先分析再作答”的模式。这也是为什么 C-EVAL 要专门投入人力做解析数据——它直接改变了评测时模型的行为模式，进而影响分数所代表的能力维度。
4.3 两种评测设置：answer-only 与 chain-of-thought 的差异
评测支持两种设置：只答模式和思维链模式。只答模式直接让模型输出选项，测的是知识检索的即时性；思维链模式先让模型生成推理再给答案，测的是推理链条的完整性。同一模型在两种设置下的分数差，本身就是一个有价值的信号——差距大说明模型“知道但不会推”，差距小说明知识已经内化到可以直接调用。
这个双设置设计让 C-EVAL 不只是一个分数榜，而是一个能力诊断工具。解读结果时，把两种设置的分数放在一起看，比只看单一数字信息量大得多。
5. 评测结果解读：GPT-4 的 66.4% 和 HARD 集的 53.3% 说明了什么
套件对当时最先进的一批模型做了系统评测，结论可以浓缩成两句话：只有 GPT-4 在 C-EVAL 上平均准确率超过 60%，达到 66.4%；在 C-EVAL HARD 子集上，GPT-4 只有 53.3%，多数模型接近随机水平。这两个数字背后的机制，比数字本身更值得琢磨。
5.1 平均准确率的天花板：知识覆盖与推理能力的双重瓶颈
66.4% 意味着即使最强的模型，在中文语境的高级知识与推理上仍有三分之一以上的题答错。拆开看，错误集中在两个来源：一是知识覆盖不足，某些专业资格类学科的训练数据稀疏，模型根本没学过相关概念；二是推理链条断裂，模型知道相关知识点，但多步推导中某一步出错，最终选项就错。
这两个瓶颈的区分很重要，因为对应的改进手段完全不同：知识缺口靠补充领域语料，推理瓶颈靠推理链训练或更强的 CoT 提示。C-EVAL 的分层分科结构，正好让这两种错误可以被分别定位——某学科整体低分偏知识缺口，某学科只在 CoT 设置下提升明显偏推理瓶颈。
5.2 中文模型的差距：知识追赶易，推理追赶难
评测里一个值得注意的现象：部分中文导向的模型在知识类测试上已经能缩小与通用强模型的差距，但在推理类测试上差距依然明显。换句话说，靠中文语料把知识灌进去相对容易，把推理能力练出来难得多。这个观察对做模型迭代的团队有直接指导意义——如果只盯着知识类分数优化，很容易在推理维度上原地踏步。
C-EVAL HARD 子集把这个差距放大了。HARD 集由高难度学科（如高等数学、大学物理）组成，专门考察高级推理。多数模型在这里只能保持接近随机的准确率，说明它们的推理能力在超出训练分布难度后迅速失效。这个子集的价值在于提供了一个“压力测试”视角：常规分数看不出差距的模型，在 HARD 上会立刻分层。
5.3 榜单之外的维度：安全性与偏差为何没进主指标
套件的主指标是准确率，安全性和偏差没有被纳入核心评分。这不是遗漏，而是范围界定：准确率指标定义清晰、可复现、跨模型可比，适合做排行榜；安全性和偏差的评测标准本身还在演进，强行并入主指标会让分数失去可比性。但套件在说明里明确提示，后续研究应继续探索精度之外的这些维度。
对使用者来说，这意味着 C-EVAL 分数只能回答“知识推理能力如何”，不能回答“模型是否安全可靠”。把两者混为一谈，是解读榜单时最常见的误用。
6. 避坑与排查：用 C-EVAL 评测时最容易翻车的五件事
6.1 现象：分数异常高，接近满分。原因：测试集泄漏进训练语料。解决：核对题目来源，优先用模拟题和授权题；如果模型训练数据包含公开题库，换用未公开的验证子集复测。
6.2 现象：few-shot 提示下分数反而下降。原因：开发集示例的格式与模型预期不符，或示例跨学科混用导致提示混乱。解决：确认示例来自对应学科的开发集，检查提示模板里题干、选项、答案的拼接顺序是否与示例一致。
6.3 现象：四大类平均分与总分对不上。原因：直接对四类分数取平均，忽略了类内题量差异。解决：先按学科算准确率，再在类内和类间做等权平均，避免题量大的 STEM 学科主导结果。
6.4 现象：CoT 设置下模型输出格式错乱，无法自动判分。原因：模型没有按“先推理后给答案”的格式输出，解析脚本抓不到最终选项。解决：在提示里显式规定输出格式，判分脚本增加对答案标记的容错匹配，而不是只认固定字符串。
6.5 现象：HARD 子集分数接近 25%。原因：不是脚本出错，而是模型在该难度上确实接近随机。解决：先确认随机基线是 25%（四选一），再对比同模型在常规子集上的分数，若常规子集正常而 HARD 接近随机，属于真实能力边界，不是评测故障。
7. 从套件设计看评测工程：可复现性比分数更重要
回头看 C-EVAL 的整套设计，最值得学的不是它选了多少题，而是它把“可复现”放在了“高分好看”之前。防污染的数据来源、统一的四选一格式、固定的开发集示例、明确的验证测试切分，这些约束都在做同一件事：让不同团队、不同时间跑出来的分数可以放在一起比较。一个基准如果分数不可复现，再高的区分度也没有意义。
这里有一个真实的取舍值得展开。用模拟题替代统考真题，牺牲了题目的权威性，换来的是更低的污染风险；只做四选一，牺牲了生成式评测的丰富度，换来的是指标无歧义；验证集只占十分之一，牺牲了调参空间，换来的是测试集分数的稳定性。每一个选择都是“可测量性”对“覆盖面”的让步。我一般会这么理解：评测套件的价值不在于它测得多全，而在于它测的那部分足够可信，使用者能明确知道分数边界在哪。
另一个容易被低估的点是分层结构带来的诊断能力。单一总分只能排序，分层分科分数才能定位问题。一个团队拿到结果后，真正有用的动作不是看排名，而是看哪个难度层级、哪个学科门类出现了异常低分，再回头查训练数据的覆盖情况。这套“分数下钻”的用法，比刷榜更接近评测的本意。
如果要验证一个评测流程是否可靠，我会建议做三件事：用同一模型在相同设置下重复跑两次，看分数波动是否在可接受范围；用随机基线和已知强模型做对照，确认分数分布合理；抽查若干错题，人工判断是知识缺口还是推理错误。这三步做完，分数才有解释力。
从那以后我每次拿到一个基准分数，都强制先问一句“这个分数是在什么数据来源、什么格式约束、什么切分比例下得到的”，不问清楚就不下结论。希望帮到你。
本文还有配套的精品资源，点击获取
