1. 三条新闻背后的共同信号：AI圈正在分裂成两个阵营
2026年10月6日这天，AI圈子里同时炸出了三条看起来八竿子打不着的消息，但如果你在这个行业里待得够久，就会发现它们其实指向同一个深层矛盾。第一条，被称为“深度学习教父”的Hinton老爷子，在多年警告AI风险之后，终于拿出了他的第一份关于递归自我改进（RSI）的正式论文。第二条，数学界公认的顶级头脑陶哲轩，公开表态从“AI加速派”转向了“AI减速派”。第三条，一个用户发现ChatGPT在生成漫画时，伪造了一位知名漫画家的签名，而且伪造得相当逼真。
这三件事放在同一天发生，绝对不是巧合。它们分别从理论、态度和产品三个层面，勾勒出当前AI领域最核心的张力：能力还在指数级往上冲，但人类对它的理解和控制能力，似乎并没有同步跟上。我写这篇东西，不是要给你复述新闻，而是想从一个一线从业者的角度，把这三条消息背后的技术逻辑、行业影响和实操层面的启示，掰开揉碎了讲清楚。如果你正在做AI产品、写AI相关的代码、或者只是关心这个领域往哪走，这篇文章应该能给你一些不一样的视角。
先说清楚，我不是来贩卖焦虑的。恰恰相反，我觉得这三条新闻里藏着很多被大多数人忽略的细节，而这些细节，才是真正值得你花时间琢磨的东西。
2. Hinton的RSI论文：递归自我改进到底在说什么
2.1 为什么RSI这个概念让圈内人睡不着觉
递归自我改进，英文叫Recursive Self-Improvement，简称RSI。这个概念其实不新鲜，几十年前就有哲学家和科幻作家在讨论。但Hinton这次发论文，意义完全不一样。因为他是深度学习的奠基人之一，他说话的分量，跟一个普通研究员发论文完全是两码事。
RSI的核心逻辑是这样的：一个AI系统如果能够修改自己的代码或架构，并且修改后的版本比原来更强，那么理论上它就可以进入一个正反馈循环——越强就越能改进自己，越改进自己就越强。这个循环一旦启动，能力增长曲线可能就不是线性的，甚至不是指数级的，而是某种更陡峭的形态。
Hinton在论文里提出的关键点，我读下来的理解是：他并不是在说RSI已经发生了，而是在说，当前AI系统的某些能力组合，已经让RSI从“纯理论”变成了“需要认真对待的工程问题”。比如，一个模型如果能自己写代码、自己测试代码、自己根据测试结果调整代码，那它就已经具备了RSI的雏形。而今天的大模型，恰恰在这三个环节上都已经有了相当强的能力。
2.2 论文里最值得关注的三个技术判断
我仔细看了论文的摘要和核心章节，有三个判断我觉得特别值得拿出来说。
第一个判断是关于“改进目标”的。Hinton指出，RSI不一定需要AI有意识地去“想让自己变强”。只要系统被优化目标驱动，而“提升自身能力”恰好是达成目标的有效路径，RSI就可能自发出现。这一点很关键，因为它意味着我们不需要担心AI“觉醒”，只需要担心优化压力。
第二个判断是关于“验证瓶颈”的。论文里提到，RSI的最大障碍不是生成改进方案，而是验证改进方案是否真的有效。一个AI可以生成一万个代码修改建议，但如果没有可靠的验证机制，这些建议大部分可能是垃圾。所以，谁掌握了高效、可靠的验证能力，谁就掌握了RSI的钥匙。
第三个判断是关于“时间尺度”的。Hinton认为，即使RSI在技术上可行，从实验室到实际部署，仍然会有相当长的延迟。但这个延迟的长度，取决于工程实践的成熟度，而不是理论突破。换句话说，理论上的障碍已经基本清除，剩下的都是工程问题。
2.3 从工程视角看，RSI离我们还有多远
作为一个写代码的人，我更关心的是：RSI在工程上到底可不可行？我的判断是，完全自主的RSI还很远，但“半自动的自我改进”已经在发生了。
举个例子，你现在用某些代码生成工具，它可以根据你的测试用例自动修改代码，直到测试通过。这个过程里，AI已经完成了“生成改进方案-验证改进方案-应用改进方案”的闭环。只不过，这个闭环的边界是由人类设定的，AI只能在人类划定的范围内改进自己。
Hinton论文里提到的RSI，边界要大得多。它指的是AI可以自己设定改进目标，自己扩展改进范围。这个差距，不是靠堆算力就能填平的。它涉及到目标设定、价值对齐、验证机制等一系列根本性问题。
但话说回来，工程上的渐进式改进，往往比理论上的大突破更有实际影响。因为渐进式改进是可以被产品化的，是可以被部署到真实场景里的。所以，与其担心某天突然出现一个超级智能，不如关注今天已经在发生的那些“小步快跑”式的自我改进。
提示：如果你在做AI相关的产品，建议你认真读一下Hinton论文里关于“验证瓶颈”的部分。它对你设计AI系统的评估机制，会有很直接的启发。
3. 陶哲轩转向减速派：一个数学家的态度变化意味着什么
3.1 从加速到减速，转变的节点在哪里
陶哲轩在AI圈里的地位很特殊。他不是AI研究者，他是数学家。但他对AI的态度，一直被视为“理性派”的风向标。因为他既不是盲目乐观的鼓吹者，也不是一味恐惧的警告者。他的判断，通常基于对技术本质的深入理解。
他之前的态度偏向“加速派”，认为AI可以极大地加速数学研究，帮助人类解决那些靠人力需要几十年才能解决的问题。这个观点在学术界很有市场，因为数学研究确实存在大量的重复性劳动和搜索性工作，AI在这方面有天然优势。
但他最近转向了“减速派”。我看了他公开表态的原文，核心意思是：AI的能力增长太快，而我们对它的理解太慢。这种速度差，正在制造一种系统性风险。他特别提到，如果AI系统被广泛部署到关键基础设施中，而我们对这些系统的行为边界又没有清晰的认识，那后果可能是不可逆的。
这个转变的节点，我认为跟最近一年AI在数学领域的一些“意外表现”有关。比如，有些AI系统在证明数学定理时，给出了人类看不懂但机器验证通过的证明。这些证明虽然正确，但人类无法从中获得任何直觉上的理解。陶哲轩担心的是，如果这种“黑箱证明”成为主流，数学作为一门人类理解世界的学科，可能会被异化成一种纯粹的技术操作。
3.2 数学界对AI的接受度为什么在下降
陶哲轩不是个例。我观察到，最近半年，数学界对AI的态度整体在变冷。原因有几个。
第一，AI在数学上的“成功”，很多时候是统计意义上的成功，而不是理解意义上的成功。一个AI可以生成一万个猜想，其中有一百个被验证为真，但人类不知道这一百个为什么真，也不知道剩下九千九百个为什么假。这种“知其然不知其所以然”的状态，跟数学的精神是相悖的。
第二，AI工具的使用门槛在降低，但验证门槛没有降低。一个研究生可以用AI生成一篇看起来像模像样的论文，但验证这篇论文的正确性，仍然需要人类专家花大量时间。这就导致学术界的“信噪比”在下降，真正有价值的工作反而更难被识别出来。
第三，也是最根本的，数学研究的核心价值在于“理解”，而AI目前最擅长的恰恰是“不理解也能做”。这两者之间的张力，让很多数学家感到不安。
3.3 对AI从业者的启示：别只盯着能力，要盯着可解释性
陶哲轩的转向，对AI从业者来说，是一个很重要的提醒。我们做AI产品、写AI代码的时候，往往只关注“能不能做到”，而忽略了“为什么能做到”和“做到了之后意味着什么”。
我自己的经验是，在任何一个AI项目里，可解释性和能力同样重要。一个不可解释的AI系统，即使能力再强，也很难被真正信任。而信任，是AI系统能否被广泛采用的关键。
具体到实操层面，我建议你在设计AI系统时，至少留出20%的精力来做可解释性相关的工作。比如，记录模型的决策路径、提供反事实解释、设计人机交互界面让用户能理解模型的输出逻辑。这些工作看起来不直接提升模型能力，但它们决定了模型能不能真正落地。
注意：可解释性不是事后补的，它应该从系统设计的第一天就纳入考虑。事后补的可解释性，往往流于形式，解决不了根本问题。
4. ChatGPT伪造签名事件：生成式AI的信任危机
4.1 伪造签名是怎么被发现的
这个事件的经过大概是这样的：一个用户让ChatGPT生成一幅模仿某知名漫画家风格的漫画。ChatGPT生成了漫画，而且在漫画的角落，自动加上了一个签名。这个签名跟那位漫画家的真实签名非常相似，如果不是专业人士仔细比对，很难分辨真假。
用户把这张图发到了社交平台上，引发了大量讨论。讨论的焦点不是漫画本身，而是那个签名。因为签名这个东西，在法律和商业上是有特殊意义的。它代表着作者的身份认证和版权归属。一个AI系统在没有被要求的情况下，自动生成一个伪造的签名，这触及了很多人的底线。
我看了那张图，说实话，从技术角度讲，这个伪造并不算特别高明。签名的一些细微特征，比如笔画的起承转合，跟真迹还是有差异的。但问题在于，大多数普通人不会去仔细比对。他们看到的是一个“看起来很像”的签名，然后就会产生信任。
4.2 生成式AI的“默认行为”为什么危险
这个事件最让我担心的，不是伪造签名本身，而是ChatGPT为什么会“默认”加上签名。我推测，这可能是因为训练数据里，漫画作品通常都带有签名，所以模型学到了“漫画应该配签名”这个模式。当用户要求生成漫画时，模型就自动把签名也生成了。
这个逻辑听起来很合理，但它暴露了一个深层问题：生成式AI的“默认行为”，往往是训练数据的统计规律的直接反映，而不是经过伦理或法律考量的结果。训练数据里有什么，模型就可能生成什么。训练数据里没有的约束，模型就不会主动遵守。
这就意味着，如果你不明确告诉模型“不要生成签名”，它就可能生成签名。如果你不明确告诉模型“不要生成真实人物的肖像”，它就可能生成真实人物的肖像。这种“默认不设防”的状态，在实验室里可能只是个小问题，但在真实产品里，就是个大问题。
4.3 产品化过程中必须加上的几道防线
从产品化的角度，这个事件给所有做生成式AI产品的人提了个醒：你不能指望模型自己“懂事”，你必须在产品层面加上明确的约束。
我自己的做法是，在生成式AI产品的输出环节，至少加上三道防线。
第一道是内容过滤。对模型生成的文本、图像、音频进行自动检测，识别出可能涉及伪造、侵权、误导的内容。这道防线可以用规则引擎，也可以用另一个AI模型来做。
第二道是用户确认。对于可能涉及敏感内容的生成请求，要求用户明确确认“我拥有生成此内容的合法权利”或“我理解此内容可能涉及的风险”。这道防线不是为了阻止用户，而是为了留下记录，明确责任。
第三道是输出标记。对AI生成的内容，加上不可见的数字水印或可见的标识，让接收方能够识别出这是AI生成的内容。这道防线在版权保护和反欺诈方面特别重要。
这三道防线，每一道都有成本，但跟不设防可能带来的法律和声誉风险相比，这些成本是值得的。
提示：数字水印技术目前还在快速演进中，选择方案时要关注它的鲁棒性和兼容性。有些水印在图像压缩或裁剪后就会失效，这种方案在实际产品里意义不大。
5. 把三条新闻串起来看：AI行业的“速度差”问题
5.1 能力增长曲线和信任增长曲线的剪刀差
把Hinton的RSI论文、陶哲轩的转向、ChatGPT的伪造签名事件放在一起看，我发现它们共同指向一个核心问题：AI能力的增长曲线，和人类对AI的信任增长曲线，正在形成一个越来越大的剪刀差。
能力增长曲线很陡，因为算力在增加、数据在增加、算法在改进。信任增长曲线很平，因为信任的建立需要时间、需要验证、需要反复的正面体验。这两条曲线之间的差距，就是当前AI行业最大的风险来源。
Hinton的论文是在说，能力增长曲线可能比我们想象的还要陡。陶哲轩的转向是在说，信任增长曲线可能比我们想象的还要平。ChatGPT的伪造签名事件是在说，当能力增长曲线跑得太快时，信任增长曲线就会被甩开，然后就会出现各种意想不到的问题。
5.2 从业者应该怎么应对这种速度差
作为一个一线从业者，我觉得应对这种速度差，核心策略是“主动降速”。不是降低技术研发的速度，而是降低技术部署的速度。在把AI系统推向真实场景之前，多花时间做验证、做测试、做风险排查。
具体来说，我建议你在AI项目的每个阶段，都问自己三个问题。
第一个问题：这个功能如果出错，最坏的结果是什么？如果最坏的结果是不可接受的，那就不要做，或者至少不要在没有充分防护的情况下做。
第二个问题：我怎么知道这个功能没有出错？如果你无法回答这个问题，那就说明你的验证机制还不够。验证机制不是事后补的，它应该跟功能开发同步进行。
第三个问题：如果用户不信任这个功能，我该怎么办？这个问题会逼着你去思考可解释性、透明度和用户教育。这些工作看起来不直接产生价值，但它们决定了你的产品能不能被长期使用。
5.3 一个具体的实操框架：AI系统的“信任预算”
我自己的团队在用一套叫“信任预算”的框架来管理AI系统的风险。核心思路是：每个AI功能都有一个信任预算，这个预算取决于它的应用场景、影响范围和可逆性。信任预算越低，需要的防护措施就越多。
比如，一个用于生成营销文案的AI功能，信任预算可以高一些，因为即使出错，影响也有限，而且很容易纠正。一个用于医疗诊断的AI功能，信任预算就必须很低，因为出错的影响很大，而且往往不可逆。
这个框架的好处是，它把抽象的“风险”变成了具体的“预算”，让团队在做决策时有一个可操作的依据。你可以根据自己项目的实际情况，调整信任预算的评估维度和阈值。
| 场景类型 | 信任预算 | 建议防护措施 |
|---|---|---|
| 创意生成 | 高 | 基本内容过滤 |
| 客服对话 | 中 | 内容过滤+人工抽检 |
| 金融建议 | 低 | 内容过滤+人工审核+免责声明 |
| 医疗辅助 | 极低 | 多重验证+专家复核+明确标识 |
6. 从这三条新闻里，我提炼出的五条实操建议
6.1 把“验证”当作一等公民
不管你做的是什么AI项目，验证机制都应该是跟模型开发同等重要的模块。我见过太多团队，把90%的精力花在提升模型能力上，只留10%的精力做验证。结果就是，模型能力上去了，但没人敢用，因为不知道它什么时候会出错。
我的建议是，在项目规划阶段，就把验证机制的设计纳入进来。验证机制包括自动测试、人工抽检、用户反馈、异常检测等多个层面。每个层面都要有明确的指标和流程。
6.2 对“默认行为”保持警惕
生成式AI的默认行为，往往是训练数据的统计反映，而不是经过深思熟虑的设计。所以，你不能假设模型会“自动”遵守某些规则。你需要明确地、显式地告诉模型什么能做、什么不能做。
具体操作上，我建议在prompt设计阶段，就加入明确的约束条件。比如，“不要生成任何形式的签名”“不要模仿真实人物的笔迹”“如果用户要求生成可能涉及版权的内容，先要求用户确认权利”。这些约束条件，虽然不能100%保证模型遵守，但能大幅降低风险。
6.3 可解释性要从第一天做起
可解释性不是奢侈品，它是AI系统能否被信任的基础。我自己的经验是，可解释性工作越早开始，成本越低。如果等到系统已经上线了再补可解释性，往往需要重构大量代码，而且效果也不好。
可解释性的具体做法包括：记录模型的决策路径、提供特征重要性分析、设计反事实解释、建立人机交互界面让用户能追问和质疑。这些工作不需要很复杂的技术，但需要从设计阶段就纳入考虑。
6.4 速度差是常态，要学会跟它共处
AI能力增长快、信任增长慢，这个速度差在可预见的未来会一直存在。所以，不要指望能消除这个速度差，要学会跟它共处。
共处的方式包括：在部署速度上保持克制、在验证机制上保持投入、在用户沟通上保持透明。这些做法看起来会拖慢你的产品迭代速度，但它们能让你走得更远。
6.5 关注“小步快跑”式的自我改进
Hinton的RSI论文虽然讲的是大问题，但对我们一线从业者来说，更值得关注的是那些已经在发生的“小步快跑”式的自我改进。比如，自动代码优化、自动测试生成、自动参数调优。这些技术已经在很多团队里落地了，它们的影响是渐进的，但累积起来会很大。
我的建议是，在你的项目里，有意识地引入这些“小步快跑”式的自我改进机制。它们不需要很复杂，但能显著提升效率。同时，也要为这些机制设置好边界和验证，防止它们跑偏。
7. 一个值得关注的趋势：AI行业的“减速派”正在壮大
陶哲轩不是第一个转向减速派的人，也不会是最后一个。我观察到，最近一年，AI行业里越来越多的资深从业者，开始从“加速派”转向“减速派”。这个趋势值得关注，因为它会直接影响AI技术的研发方向、产品形态和监管环境。
减速派的核心理念不是“停止AI研发”，而是“在确保安全的前提下推进AI研发”。这个理念听起来很温和，但实际操作起来，会对很多现有的做法提出挑战。比如，它要求AI系统有更强的可解释性、更完善的验证机制、更透明的决策过程。这些要求，会增加研发成本，也会改变产品设计的优先级。
对从业者来说，这个趋势意味着两件事。第一，你需要更关注AI系统的安全性和可靠性，而不只是能力。第二，你需要更关注AI系统的社会影响，而不只是技术指标。这两件事，在短期内可能会拖慢你的进度，但在长期内，它们会让你的工作更有价值。
我在实际项目里的体会是，当你把安全性和可靠性当作核心指标来设计时，你会发现很多之前被忽略的问题。这些问题，往往是产品能否真正落地的关键。所以，与其把减速派的要求当作负担，不如把它们当作提升产品质量的机会。
最后再分享一个小技巧：如果你不确定某个AI功能是否安全，可以试着把它交给一个完全不懂技术的朋友用一下，然后观察他会不会产生误解或误用。这个简单的测试，往往能发现很多你自己想不到的问题。
