news 2026/6/9 12:52:08

给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

在大语言模型(LLM)的世界里,最令人抓狂的失败往往不是“不会”,而是“明明会,却走神”。一道小学应用题,模型能把人数算对、减法写对,却在关键一步突然把“有 6 个男生缺席”读成“没说男生缺席”,然后一本正经地给出错误答案——仿佛一个聪明的学生在考场上被窗外的鸟叫拐跑了注意力。

论文《Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates》(Prakash 等,2025)要做的事情,听起来像科幻外科:不对整台模型做大规模“再训练”,而是先找出它推理时“第一次跑偏”的那个词,再定位出是哪些注意力头和 MLP 神经元在“把它往正确路上推”,最后只更新这极小一撮组件(最低只占 0.17%,最高也就 1.59%),就能让数学推理准确率提升最高 +11.4%,而且对 MMLU、TriviaQA、TruthfulQA 等通用能力影响很小。

本文精读将严格围绕你指定的重点:DCM 掩码(Desiderata-based Component Masking)稀疏更新(targeted sub-network updates),把它讲清楚:它到底怎么找“该动哪几根神经”,为什么只动一点点会有效,实验结果说明了什么,以及它的边界在哪里。


🧭 一、为什么“只动一点点”可能比“全身按摩”更有效?

论文建立在两条来自机制可解释性(mechanistic interpretability)的经验事实上

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/6 15:44:21

YOLO镜像提供SLA服务协议,稳定可靠有保障

YOLO镜像提供SLA服务协议,稳定可靠有保障 在智能制造、智慧交通和无人系统快速落地的今天,一个看似微小的技术决策——如何部署目标检测模型,正悄然决定着整个系统的成败。试想一下:一条自动化质检产线因模型推理延迟突增而停摆&a…

作者头像 李华
网站建设 2026/5/22 1:18:14

站群系统大文件上传插件的跨平台支持与优化

大文件传输方案设计与实现方案 作为湖南XX软件公司的前端工程师,面对20G大文件传输的需求,我经过深入调研和分析后提出以下解决方案。 一、技术挑战分析 大文件传输: 20G文件直接上传会导致内存溢出网络中断后需要支持断点续传传输进度监控…

作者头像 李华
网站建设 2026/5/28 16:23:18

2025年6月编程语言排行榜:Python稳第一,C++又火了?

TIOBE编程语言排行榜是衡量编程语言流行度的一个长期指标。2025年6月的榜单反映了当前开发领域的技术趋势和市场需求。这份榜单的变化不仅仅是数字的浮动,背后更是技术社区兴趣、就业市场方向和企业技术栈选择的综合体现。理解这些变化,能帮助开发者和技…

作者头像 李华
网站建设 2026/5/26 16:29:24

线程安全必知:为什么ThreadLocal用完必须remove?

在多线程开发中,ThreadLocal 是一个用于存储线程局部变量的工具类,它能有效避免线程间的数据共享冲突。然而,许多开发者在使用时往往只关注其 set() 和 get() 方法,而忽略了关键的 remove() 方法。如果不及时清理 ThreadLocal 中存…

作者头像 李华
网站建设 2026/6/9 11:10:45

农业智能化:利用YOLO进行病虫害实时监测

农业智能化:利用YOLO进行病虫害实时监测 在广袤的农田里,一片叶子上的微小斑点可能预示着一场即将蔓延的病害危机。传统农业中,这类隐患往往要等到症状明显、成片作物受损时才被发现——那时防治已为时过晚。如今,随着人工智能技术…

作者头像 李华