news 2026/10/18 16:31:20

AI核心知识68——大语言模型之NSP (简洁且通俗易懂版)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI核心知识68——大语言模型之NSP (简洁且通俗易懂版)

下一状态预测 (NSP,Next State Prediction)是从大语言模型 (LLM)向世界模型 (World Model)进化时的一个核心概念。

如果说NTP(下一个词预测)是让 AI 学会像人类一样说话;

那么NSP就是让 AI 学会像人类一样思考物理规律和因果关系。

这通常与Yann LeCun (图灵奖得主、Meta首席 AI 科学家)提出的JEPA 架构以及具身智能 (Robotics)紧密相关。


1.🌍 核心定义:从“预测符号”到“预测现实”

要理解这个概念,我们需要对比 LLM 和 World Model 的根本区别:

  • LLM(大语言模型) —— Next Token Prediction

    • 对象:文本符号。

    • 逻辑:根据“我爱”,预测下一个字是“你”。

    • 局限:它只懂概率,不懂物理。它不知道为什么杯子松手会掉下去,它只知道“杯子”后面常跟“摔碎”。

  • World Model (世界模型) —— Next State Prediction

    • 对象:环境的状态 (State)。

    • 逻辑:根据“我现在手里的杯子 (S_t)” + “我松开手 (A_t)”,预测“下一秒杯子的位置和状态 (S_{t+1})”。

    • 核心:S_{t+1} = F(S_t, A_t)。即:未来状态 = 当前状态 + 动作。


2.🧠 什么是“状态 (State)”?为什么不预测“像素”?

这是 Yann LeCun 最著名的理论。

在视频生成或自动驾驶中,如果让 AI 预测“下一帧的每一个像素点是什么颜色”(Genrative Model),太难了,因为现实世界充满了随机的噪音(树叶的抖动、光影的变化)。

下一状态预测的精髓在于:不预测细节,只预测本质。

  • 例子:一辆车在路上跑。

    • 像素预测:AI 试图画出车轮上每一粒灰尘。

    • 状态预测:AI 把画面压缩成一个抽象的“特征向量” (Latent State)。它只在乎:“这辆车的位置变了,它向左转了。”

  • 优势:通过忽略无关紧要的细节(噪音),AI 能更精准地掌握核心的物理规律和因果链条。


3.🏗️ 典型架构:JEPA (联合嵌入预测架构)

这是实现下一状态预测的主流架构(不同于 GPT 的 Transformer 架构):

  1. 编码 (Encoder):把现实画面(视频/图片)变成抽象的数学状态 (S)。

  2. 预测 (Predictor):在抽象空间里,推演如果不加干预,或者施加动作后,状态 S 会变成什么样。

  3. 对比:把预测出来的状态,和真实的未来状态进行对比,修正模型。

这就像人类的直觉:当你扔出一个篮球,你脑子里不会计算篮球表面的纹路怎么旋转(像素),但你会预判它的抛物线轨迹(状态)。


4.🚀 为什么它比 NTP 更高级?

下一状态预测被认为是通往AGI (通用人工智能)的必经之路,因为它带来了“规划 (Planning)”能力。

  • NTP(GPT-4):也是一种“走一步看一步”的思维。写代码时,它不知道写到第 100 行会发生什么,它只知道第 1 行写完写第 2 行。

  • NSP (World Model):具备推演未来的能力。

    • 思考:“如果我做动作 A,状态会变成 S1;如果做动作 B,状态会变成 S2。S2 离我的目标更近,所以我选 B。”

    • 结果:这就是推理 (Reasoning)和规划的本质。


总结

NSP是 AI 从“文科生”(只会写文章)进化为“理科生”(理解物理世界因果律)的关键技术。

它是自动驾驶汽车预判行人动作的核心,也是机器人学会不撞墙的核心。在未来,最强的 AI 可能是NTP(负责交流)+NSP (负责思考)的结合体。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/15 10:50:10

【Django毕设全套源码+文档】基于Django的“农场主”特色农产品直卖网站设计与实现(丰富项目+远程调试+讲解+定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/10/18 4:16:26

DeepSeek-R1-Distill-Qwen-14B:14B推理模型性能大突破

DeepSeek-R1-Distill-Qwen-14B:14B推理模型性能大突破 【免费下载链接】DeepSeek-R1-Distill-Qwen-14B 探索推理新境界,DeepSeek-R1-Distill-Qwen-14B模型以创新强化学习技术,实现思维自主演进,性能逼近顶尖水平,为研究…

作者头像 李华
网站建设 2026/10/16 18:53:12

如何使用JavaScript操作DOM节点的属性?

一、核心概念:DOM 属性的两类形式 在操作前先分清两个易混概念,避免踩坑: HTML 原生属性:标签上写的属性(如id"box"、src"img.jpg"、class"content");DOM 对象…

作者头像 李华
网站建设 2026/10/16 14:26:13

3大创新突破!医疗影像分割的AI变革

3大创新突破!医疗影像分割的AI变革 【免费下载链接】Medical-Transformer Official Pytorch Code for "Medical Transformer: Gated Axial-Attention for Medical Image Segmentation" - MICCAI 2021 项目地址: https://gitcode.com/gh_mirrors/me/Medi…

作者头像 李华
网站建设 2026/10/16 11:33:52

2026 网安转行建议!零基础到精通全拿捏

在当前就业形势下,不少朋友咨询过龙哥,询问转行能否转行网络安全。网络安全作为一个热门领域,自然也吸引了许多人的目光。本文将就转行网络安全这一话题,提供一些切实可行的建议。 网络安全行业概况 网络安全涵盖了从基础的脚本编…

作者头像 李华
网站建设 2026/10/16 18:02:18

构建安全隔离的数据处理环境:MinerU离线部署技术白皮书

构建安全隔离的数据处理环境:MinerU离线部署技术白皮书 【免费下载链接】MinerU A high-quality tool for convert PDF to Markdown and JSON.一站式开源高质量数据提取工具,将PDF转换成Markdown和JSON格式。 项目地址: https://gitcode.com/GitHub_Tr…

作者头像 李华