DeepEdu‑v1：面向越南教育的高效可扩展智能体大语言模型

DeepEdu‑v1：面向越南教育的高效可扩展智能体大语言模型

arXiv编号：arXiv:2609.31568v1
摘要
AI辅导系统能够显著改善越南这类发展中地区学生的学习效果，但现有两条主流实现路径均存在明显缺陷。云端助手（如ChatGPT）会将敏感学生数据传输至境外服务器，违反越南第53号法令等数据主权法规；并且预训练语料以西方内容为主，模型对本土教科书课程体系知识零散，频繁产生事实幻觉。自托管开源模型可以将数据保留在本地，但会遭遇双重瓶颈：AWQ、GPTQ等后训练量化只能压缩静态模型权重；长辅导会话带来巨大动态KV缓存开销，预填充延迟过高，消费级GPU容易出现显存溢出OOM。同时模型在地区性本土内容上依旧会产生幻觉。

本文提出DeepEdu‑v1，面向越南教育场景的AI辅导系统，基于**(\mathcal S)CALE（(\mathcal S)elf‑improving Context‑Aware Learning Engine，自改进上下文感知学习引擎）框架，包含两项核心创新。
第一，长上下文推理引擎(\mathcal S)CR（(\mathcal S)imilarity Chunk Rolling，相似分块滚动）**，将选择性稀疏注意力从子块粒度摊销到聚类簇粒度。在长上下文检索任务上，相比(\mathcal S)OTA选择性注意力基线Token(\mathcal S)elect，检索调用次数降低7.7倍，预填充延迟（TTFT）下降约35%，同时维持甚至提升任务精度。
第二，自改进智能体层，不做模型微调，持续从历史交互中整理经过验证的知识库手册（playbook）；随着可信本土知识不断积累，逐步降低模型对主流语言先验知识的依赖。

部署配置下，DeepEdu相比标准vLLM服务实现接近2倍的TTFT加速；复杂任务智能体准确率从70.0%提升至79.5%，在金融推理、交互式智能体评测集上增益最为突出。实验结果表明，在数据主权约束的资源受限地区，可以部署可扩展、自改进、贴合本土课程大纲的AI辅导系统。

关键词
大语言模型；AI教育；长上下文推理；模型量化；数据主权；自改进智能体

目录

1. 引言
2. 相关工作
3. 预备知识
   • 3.1 LLM推理与多头注意力
   • 3.2 选择性稀疏注意力
   • 3.3 智能体上下文工程ACE
4. 动机与实证观测
   • 4.1 外层分块内连续子块相似度
   • 4.2 可调相似度阈值下的聚类生成
   • 4.3 聚类检索与子块独立检索Top‑k重叠度
   • 4.4 面向知识库手册的检索增强执行RAE
   • 4.5 系统性重复出现的智能体失败案例
5. 方法：(\mathcal S)CALE框架
   • 5.1 (\mathcal S)CR相似分块滚动长上下文推理引擎
   • 5.2 自改进智能体上下文工程层
6. 实验
   • 6.1 实验设置
   • 6.2 (\mathcal S)CR长上下文引擎评测
   • 6.3 自改进智能体层消融实验
   • 6.4 DeepEdu‑v1完整系统端到端评测
7. 讨论与局限性
8. 结论
9. 参考文献
10. 附录A 算法伪代码、超参数
11. 附录B 数据集、评测脚本

1 引言

大语言模型已经从文本生成演进为多模态工具增强智能体，可以完成复杂推理、规划、个性化交互。在教育领域，这为资源受限地区带来一对一AI辅导的可能性。越南教育场景部署AI辅导系统面临两大核心障碍：

1. 数据主权合规问题：学生记录包含大量敏感个人可识别信息，使用ChatGPT等云端服务，会把数据发送境外服务器，违反越南53号法令；必须本地自托管开源模型。
2. 本土课程知识幻觉：预训练模型以英文、西方语料为主，没有围绕越南国家教科书(\mathcal S)GK构建知识，在本土历史、人文、学科知识点频繁输出幻觉错误。例如早期部署中出现：把光中帝与阮惠当作两个不同朝代君主这类严重史实错误。

本地自托管又遇到工程双重瓶颈：

• AWQ/GPTQ后训练量化可以压缩模型静态权重；但长辅导会话会产生巨大动态KV缓存，二次方预填充延迟，消费级GPU发生显存溢出OOM；FlashAttention、PagedAttention只能缓解，无法根除。
• 如果持续微调适配不断变化的课程，计算开销巨大，还存在灾难性遗忘风险。

本文提出DeepEdu‑v1，基于(\mathcal S)CALE框架，包含两大创新：

1. (\mathcal S)CR相似分块滚动(\mathcal S)CR：长上下文推理引擎，将选择性稀疏注意力由子块粒度摊销到聚类簇粒度，大幅减少检索调用，降低TTFT预填充延迟，保证检索精度。
2. 自改进智能体层：不更新模型权重，依靠Agentic Context Engineering，从历史交互迭代维护经过验证的playbook知识库手册，逐步降低模型对西方预训练先验的依赖。

本文主要贡献

1. 提出(\mathcal S)CR相似分块滚动推理机制：相比Token(\mathcal S)elect基线检索调用减少7.7倍，预填充TTFT延迟降低约35%，结构化检索任务精度维持甚至提升。
2. 设计自改进智能体层，不做权重更新，通过查询感知上下文工程维护本土教育知识库手册，适配越南本土课程体系。
3. 在部署环境下实现接近2倍TTFT加速；复杂任务智能体准确率从70.0%提升至79.5%；验证资源受限、数据主权约束下本土AI辅导系统可行性。

2 相关工作

2.1 大语言模型架构演进

Transformer架构、缩放定律，后续开源基座模型、MoE混合专家架构；发展到工具增强智能体ReAct、Toolformer，AutoGen、(\mathcal S)WE‑Agent等多智能体与软件工程智能体。

2.2 面向教育的基座模型

智能辅导系统IT(\mathcal S)从早期规则系统演进到大模型生成式框架；MathCoder结合代码执行保证数学解题正确性；知识追踪KT建模学生认知状态，动态调整教学策略。现有方案较少关注本地部署硬件约束、低资源语言本土课程适配两大现实工程问题。

2.3 后训练量化PTQ

GPTQ、AWQ实现低比特权重量化，压缩静态权重；但是不解决长上下文KV缓存动态内存开销问题。

2.4 知识蒸馏

把大教师模型能力迁移至小模型；缺点是需要重蒸馏才能适配更新后的课程，训练开销大。

2.5 长上下文推理优化

方向包含位置编码插值、长上下文后训练、外部记忆模块；IO‑aware注意力算子FlashAttention、PagedAttention优化硬件，但不降低注意力计算复杂度。选择性稀疏注意力：Local Window、Attention (\mathcal S)ink、Token‑level选择性选择（Token(\mathcal S)elect）。Token(\mathcal S)elect实现子块粒度查询感知token筛选，但每一个子块都要执行完整检索，存在大量冗余计算。

2.6 低资源语言LLM适配

越南等低资源语言，预训练语料占比不足；方案包含跨语言提示、上下文学习ICL、持续预训练CPT。但持续预训练需要大量算力，课程更新时需要重复执行。

2.7 本地化场景幻觉问题

预训练语料分布不均衡，模型在非西方本土内容容易自信地编造虚假事实；教育场景幻觉会带来教学风险。运行时上下文注入本土知识是替代持续微调的可行路线。

2.8 无权重更新自演化智能体

Agentic Context Engineering（ACE）范式，不修改模型权重，通过编辑上下文记忆实现智能体自适应，避免灾难性遗忘；但现有ACE方案没有针对百万token级长上下文做推理效率优化。

对比总览表

方案	本地部署/数据主权	长上下文效率	无需微调自改进	本地化适配
量化PTQ	✅	❌	❌	❌
稀疏长上下文	❌	✅	❌	❌
Agentic上下文工程	(✅)	❌	✅	❌
低资源语言持续预训练	❌	❌	❌	✅
DeepEdu‑v1((\mathcal S)CALE)	✅	✅	✅	✅

3 预备知识

3.1 LLM推理与多头注意力

符号定义：d dd隐藏维度，H HH注意力头数，d h = d / H d_h=d/Hdh​=d/H单头维度；输入序列长度n nn，X ∈ R n × d X\in\mathbb R^{n\times d}X∈Rn×d隐藏状态。
推理分为两个阶段：

1. Prefill预填充</