批改开放式试题一直是高等教育最难啃的瓶颈之一。选择题可以秒级机评，但论文、证明题和算法设计题依赖人工判断，而人工判断慢、贵且不一致。西班牙埃斯特雷马杜拉大学团队近日开源了 EvaluAI——一个用大语言模型批改自由文本作业、生成反馈并交由教师审核的平台，论文发表于期刊 SoftwareX，采用 Apache-2.0 许可证，部署在用户自有基础设施上，而非锁定在商业云服务中。
平台采用三阶段工作流：教师先用机器可读的评分标准定义题目、分值和各评分项描述；学生提交的 PDF（含扫描手写试卷）以单份或批量方式导入；随后系统生成量化分数与定性反馈，教师通过并排审核界面对照检查、修正和确认。这一“人在回路”设计把 AI 初评的“临时考试”与教师审核后的“最终考试”区分开来，与全自动评分流水线划清界限。
架构上，EvaluAI 为模块化客户端—服务器三层结构：展示层是 React 单页应用，逻辑层是 Python 编写的 FastAPI 后端，通过 RESTful 端点校验请求并委派给用户、评分标准和考试管理组件，以及一个负责文档处理、提示词构建和对接外部 LLM 服务的编排服务；数据持久化使用 MongoDB Atlas。账户凭据以加盐 bcrypt 哈希存储，全部 API 端点实施基于 JWT 的令牌认证和逐资源所有权校验。评估编排器接入 Google Gemini 3.6 Flash API，但模块化设计把具体模型交互与评分流程隔离，机构可换用其他模型（包括 OpenAI 兼容客户端）而无需重写核心管线。批量处理可按用户指定的每份页数把大 PDF 拆分为单个学生记录，一次操作完成整届评分。
验证研究使用了该校“算法分析与设计”课程的真实学生提交。初始数据集含 14 名学生，其中 1 份因原始评分记录无法找回教师分数而被剔除，最终 13 份。每份作业在两种条件下评估：无结构化评分标准，以及使用平台内形式化评分标准引导。两种条件均使用同一 Gemini 模型和相同生成配置，温度 0.3，最大输出 8000 token；考虑到 LLM 的非确定性，每份作业在每种条件下独立评估三次，共产生 78 次评估。
结果是一个值得所有部署 AI 评分者理解的悖论。无评分标准时，与教师分数的归一化一致性指标平均绝对误差为 0.110；引入评分标准后，MAE 反而略升至 0.132。换言之，加入结构化评分标准并未提升与原始教师评分的一致性。作者将其归因于时间错配：参考分数是在原课程评估时给出的，早于 EvaluAI 所用结构化评分标准的形式化，而标准引导条件会施加显式扣分，例如代码文档等项，原评分时权重可能不同。AI 未必批错了，它只是按一套更明确、不同于人类评分者的标准在打分。
评分标准真正见效的地方是一致性。由于 LLM 具有随机性，同一份作业重复运行可能得到不同分数，这对任何评估系统都是严重问题。无评分标准时，三次重复总分在各份作业间的平均标准差为 0.045，组内相关系数 ICC(2,1)（按 Shrout 与 Fleiss 的双向随机效应公式计算）为 0.910；评分标准引导下，平均标准差降至 0.016，ICC 升至 0.986。运行间稳定性显著收紧，说明把评分标准编码为数字规则能约束模型推理，使分数更可复现，即便这些分数与某位人类评分者的判断存在差异。
运营经济性同样值得注意。13 份作业的完整批量处理约需 4.5 至 7.5 分钟，78 次评估全部成功。按研究时适用的 Gemini 3.6 Flash API 价格，每次提交评估成本估计约 0.006 至 0.010 美元（约 0.04 至 0.07 元人民币）。对面对成百上千份试卷的教师而言，这相当于每名学生几分钱就能获得近乎即时的形成性反馈，而教师通过审核界面保留最终决定权。作者也谨慎列出局限：参考分数来自单一教师且并非用形式化评分标准产生；实验未将评分标准结构的影响与额外提供的评分信息隔离开；反馈质量未经正式评估；教师未审核 AI 评估结果，因此无法观察纠错率。
研究者认为，该平台还打开了此前受人工评分时间和规模限制的研究问题：近乎即时的反馈相较传统延迟评分周期如何影响复杂技术概念的留存；评分标准粒度如何影响人类专家与自动代理之间的评分者间信度；以及跨数千份回答和多个学期追踪学生误解的演变模式，以识别课程体系中的系统性缺口。与 e-rater、Gradescope、Turnitin Feedback Studio 等成熟系统，以及 Grade-Like-a-Human、GradeHITL、LLM-Rubric、CourseEvalAI 等近期基于 LLM 的研究框架相比，EvaluAI 的特点是在单一平台中同时提供开源许可、结构化评分标准、手写与 PDF 支持、批量评分、人工审核和用户自主部署。未来工作将针对复杂图表与手写示意的更好解析、不同 LLM 的系统性比较，以及完整的逐次评估溯源记录，使每一项评分决定都可完全审计。
