news 2026/10/17 19:16:10

WAIC 2026 刚散场，书生S2-397B 就靠“追平万亿参数“刷屏了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
WAIC 2026 刚散场，书生S2-397B 就靠“追平万亿参数“刷屏了

WAIC 2026 刚散场，书生S2-397B 就靠"追平万亿参数"刷屏了

【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B

WAIC 2026 的聚光灯还落在周伯文主旨演讲里那句"AI 科学元认知时刻"上，上海 AI Lab 的开源社区已经开始被一个新名字刷屏：Intern-S2-397B——书生系列迄今最强的科学智能多模态基座模型，一个 397B 参数的 MoE，宣称在多项科学基准上"追平"万亿参数级的 Intern-S1-Pro。这个说法为什么能炸场？它的评测口径是什么、边界在哪里、底层架构又藏着什么工程细节？本文直接从模型仓库的 config、分词器与部署文档出发，把这场"以小博大"的热度拆成可验证的技术事实。

一、从"科学元认知时刻"到端砚平台：S2-397B 在发布版图中的位置

先交代现场背景。WAIC 2026 期间，多家媒体（央广财经、人民政协网、21财经、界面等）集中报道了周伯文的主旨演讲：他提出迎接 AI 的"科学元认知时刻"，并发布了面向科学发现"源头创新"的"书生·端砚"平台，定位是让普通人也能借助 AI 开展科学研究；浦江实验室同期宣布发力打造 AI 时代的"隐形基石"。

端砚平台回答的是"谁在用、怎么用"，而 Intern-S2-397B 回答的是"底层是谁在干活"。仓库 README.md 的开篇给 S2-397B 的定位一句话：面向科学智能（scientific intelligence）与长程 Agent（long-horizon agents）的最强多模态基座模型。它沿三个维度做 scaling：

  1. 视觉原生预训练：直接从科学文献的原始页面（raw pages）学习，在共享表征空间里同时建模符号语义与视觉关系，跳过中间解析环节，保留图文对应关系，强化空间与视觉推理；
  2. 科学任务强化学习：覆盖 20+ 科学领域的多任务 RL 联合训练，官方称其在开源模型中达到领先的通用推理表现，并在生物分子互作设计、材料结构生成等专业任务上有强结果；
  3. 长程智能体 RL：把多个 Agent 框架接入大规模沙盒环境，做黑盒 agentic 强化学习，抬高通用与科学域长程任务的能力上限。

换句话说，端砚是应用层的"操作台"，S2-397B 是被开源出来、可以自托管的"发动机"。Apache-2.0 许可（见 LICENSE）意味着这条链路从模型权重到 API 形态全部开放，这也是社区讨论度高的前提之一。

二、拆 config：397B MoE 的"骨架"长什么样

营销话术之外，config.json 才是理解这个模型最硬的证据。几个关键数字：

维度配置值含义
architecturesQwen3_5MoeForConditionalGeneration基于 Qwen3.5 MoE 条件的多模态架构
num_hidden_layers60文本主干共 60 层
num_experts/num_experts_per_tok512 / 10每 token 只激活 512 个专家中的 10 个，外加 1 个共享专家（shared_expert_intermediate_size: 1024）
layer_typeslinear_attention× 3 +full_attention× 1 循环每 4 层中仅 1 层全注意力（full_attention_interval: 4），其余为线性注意力——长上下文的成本被结构性压低
mtp_num_hidden_layers1内置一层 Multi-Token Prediction，为推测解码打底
max_position_embeddings262144原生 256K 上下文
vocab_size251392基础词表 + 科学模态扩展区
vision_config.depth2727 层视觉编码器，patch_size: 16，temporal_patch_size: 2

三个值得展开的工程点：

1. 混合注意力（Gated/Linear + Full）是"256K 上下文"不烧钱的关键。layer_types里 45 层线性注意力、15 层全注意力，线性侧用linear_conv_kernel_dim: 4、linear_num_value_heads: 64等参数实现类 Mamba 的低成本状态传递（mamba_ssm_dtype: float32）。这就是为什么官方敢把评测口径推到"文本推理 256K 最大推理长度"（README 中明确：文本推理基准最大推理长度 256K tokens，多模态基准 64K tokens）。

2. MTP 不是外挂技巧，而是训练时就在主干里的。mtp_num_hidden_layers: 1表明多 token 预测头是一等公民。部署侧三个框架都给出了 MTP 推测解码配方（deployment_guide.md）：LMDeploy 用--speculative-algorithm qwen3_5_mtp --speculative-num-draft-tokens 4，vLLM 用--speculative-config '{"method":"mtp","num_speculative_tokens":3}'，SGLang 则走--speculative-algo NEXTN配合 4 个 draft token。社区此前对 S2-Preview 系列 8×H200 环境的实测（MTP 在 16K 输出长度下吞吐接近翻倍、TPOT 大幅下降）说明这条加速链路是真实可用的。

3. 视觉塔与 397B 的关系。vision_config中 27 层 ViT 把 16×16 patch（2×2 时空合并）映射到 4096 维主干。视觉塔参数量相对 397B 主干很小，"多模态"在这里主要吃的是主干的 MoE 容量——这与"视觉原生预训练直接从文献页面学"的范式自洽：页面级图文混合输入，靠的是文本侧的建模能力兜底。

再看 README.md 推荐的采样参数（top_p=0.95, top_k=50, min_p=0.0, temperature=0.8）与 generation_config.json 的出厂默认（temperature=0.6, top_k=20）不一致——官方明确建议以 README 参数为准，这也是部署时一个容易踩的坑。

三、科学模态不是营销词：分词器里实打实的 SMILES / PROT / XNA

"科学大模型"最容易沦为贴标签。但这个仓库里，科学模态是长在 tokenizer 里的。tokenizer_config.json 声明了三个独立的 SentencePiece 子分词器及其词表偏移：

"offset_SMILES": 248102, "offset_PROT": 249126, "offset_XNA": 250150

对应仓库根目录下的 tokenizer_SMILES.model、tokenizer_PROT.model、tokenizer_XNA.model 三个 SPM 模型，由自定义 tokenizertokenization_interns1.py中的InternS1Tokenizer（tokenizer_class）在prepare_extra_tokenizers里加载：SMILES（分子）从 248102 起、蛋白序列从 249126 起、DNA/XNA 从 250150 起，各自占据词表的高位区间。词表里还能看到成对的任务定界符：<SMILES>/</SMILES>、<protein>/</protein>、<dna>/</dna>、<rna>/</rna>。

更进一步，tokenization_interns1.py 实现了三个自动检测模块：

  • SmilesCheckModule：正则 + 括号/环号合法性校验（fast/slow 双通道），自动把裸文本里的合法 SMILES 串包进<SMILES_AUTO_DETECT>；
  • ProtCheckModule：蛋白序列自动识别（最小长度 27）；
  • XnaCheckModule：XNA 序列自动识别。

也就是说，用户不需要手动加定界符，分词器会把输入中合法的科学序列"识别—校验—切进专属子词表"。这对分子坐标回归、晶体结构生成这类任务的意义是：原子与键的表示在 token 级就是紧凑且无歧义的，而不是被通用 BPE 切碎成噪声。

同样长在这套机制里的还有时间序列模态。chat_template.jinja 中显式处理了time_series类型的 content 项，渲染为<|ts|><TS_CONTEXT><|/ts|>占位结构（词表中对应<|ts|>、<TS_CONTEXT>、<TS_GEN>等专用 token），并且当消息含时序数据或显式关闭思考模式时，模板会注入空的<think>\n\n</think>直接跳过推理。README 给出的地震 P/S 波检波与电力负荷预测示例中，预测请求通过extra_body传enable_forecasting: True和forecast_horizon，响应体里多出ts_forecast.point_forecast/quantile_forecast字段——时序预测已经是一种结构化的输出协议，而不是"让模型口算数字"。

需要注意的边界：README 明确写了Time series inference is currently only supported in LMDeploy。时序能力的部署路径目前是单框架独占，这一点在选型时要算进去。

四、"追平万亿参数"的说法从哪来：评测口径与适用边界

先把传播链条理清楚。"397B 追平万亿"这个叙事不是凭空冒出来的，它建立在一条完整的证据线上：

  1. 前身铺垫：社区（CSDN 多篇，2026 年 1 月至 6 月）早已围绕 35B 的 Intern-S2-Preview 反复讨论"35B 参数如何超越万亿级模型"——对标物正是万亿参数级的 Intern-S1-Pro，论据包括 MolecularIQ 57.26 分（媒体称超过 Gemini-3.1-Pro）、晶体结构生成通过率超 40% 等。397B 是这条"小模型追平万亿"路线上的放大版，话题延续性天然存在；
  2. 媒体引爆：WAIC 2026 期间，网易科技等以《397B 参数追平万亿模型，上海 AI Lab 发布科学智能体新基座》为题跟进报道，"追平"二字被直接做进标题，成为传播钩子；
  3. 仓库自证：README.md 的 Performance 一节给出了对比图（上文配图），并注明评测协议——使用 OpenCompass、VLMEvalKit、AgentCompass 三个框架跑全部模型；文本推理基准最大推理长度 256K tokens，多模态基准 64K tokens；图例约定下划线为开源模型最佳、加粗为全模型最佳。

把口径拆开，"追平"至少有三条适用边界，读者引用前应当明确：

  • 对标对象是科学基准而非通用榜单。"万亿"指的是 Intern-S1-Pro 这一档科学旗舰。开源阵营里"最佳"（下划线）与"全模型最佳"（加粗）是两档结论，README 只说 S2-397B 在科学任务上强、通用推理在开源中领先，并不等于在所有闭源旗舰前面全面胜出；
  • 长推理预算是成绩的一部分。256K 的最大推理长度意味着思考型任务可以消耗大量 token 换正确率。对延迟敏感的服务化场景，同等硬件下的单请求成本会显著高于 32K/64K 口径的对比；
  • 对比图细节以仓库图片为准。本仓库中figs/intern-s2-397b.jpg由 Git LFS 托管，逐项分数请以上文配图的渲染版本为准，本文不做逐格转述，避免二手失真。

部署侧的边界同样具体：deployment_guide.md 的官方推荐配置是H100×8 或 H200×8节点；FP8 权重（internlm/Intern-S2-FP8）配 LMDeploy--dp 4 --ep 8、vLLM/SGLang--tensor-parallel-size 8；若要把上下文从 256K 拉到 512K，需要显式叠加 YaRN RoPE 覆盖（--hf-overrides里rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144），vLLM 侧还要VLLM_ALLOW_LONG_MAX_MODEL_LEN=1。"追平万亿"的前提，是你得起动一个八卡节点。

五、对国产科学大模型叙事意味着什么

这波刷屏真正的信息量，不在"又一个大模型发布"，而在三件事：

第一，参数效率叙事从口号变成了可复现的架构事实。512 专家 top-10 激活的 MoE + 3:1 线性/全注意力混合 + 训练期内置 MTP，这组配置解释了"为什么 397B 敢对标万亿"：激活参数远小于总参数，长上下文的边际成本被注意力结构压低，解码吞吐被 MTP 拉回。社区对 S2 系列的实测（MTP 长输出下吞吐接近翻倍）与部署文档中的默认 MTP 配方互相印证。国产科学模型第一次不用"堆到万亿"来兑现旗舰表现，这对算力受限的团队是实质性利好。

第二，科学能力下沉到 tokenizer 与协议层，而不是 prompt 层。SMILES/PROT/XNA 三路子词表加自动检测、时序数据的结构化输入输出协议（ts_forecast分位数预测）、思考/非思考模式在 chat_template.jinja 里的一等公民地位（enable_thinking=False时模板自动折叠思考块）——这些意味着科学任务被当作"训练目标 + 表示问题"解决，而不是"给个提示词看看"。对比 S1-Pro 时代需要外部工具链拼装分子表示的做法，工程上的护城河加深了一层。

第三，Agent 化与本地化部署构成了科学数据的现实出口。README 的 Agent Integration 一节给出了两条完整路径：自托管（LMDeploy 的 OpenAI 兼容端点http://0.0.0.0:23333/v1，并提示用--tool-call-parser interns2-preview解析工具调用）与官方 API（OpenAI 兼容 + Anthropic 兼容双网关，可直接接 Claude Code）。工具调用格式在 chat_template 里是 XML 风格的 `

【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/10/15 3:38:13

分治算法全解析：从归并排序到动态规划优化实战

1. 分治思想&#xff1a;先拆到底&#xff0c;再逐层缝合1.1 用生活场景理解分治先聊一个面试官最爱问的底层问题&#xff1a;为什么分治能优化时间复杂度&#xff1f;我习惯用一个整理书桌的类比来解释——你有一堆混杂的笔记要按日期排序&#xff0c;如果直接全局排序&#x…

作者头像 李华
网站建设 2026/10/13 17:26:52

合伙人制落地难？一文讲透分红规则引擎与系统设计

去年我接触过一个做本地生活服务的品牌方&#xff0c;老板想搞"合伙人制"&#xff0c;说了这么一句话&#xff1a;让核心销售和管理骨干出人、出钱、帮公司搞流量做成交&#xff0c;把公司的事当自己的事。想法很好&#xff0c;但他只给我一页手写的分红方案&#xf…

作者头像 李华
网站建设 2026/10/18 1:41:58

YOLOv8半挂车检测数据集实战：从标签解析到训练的完整指南

简介&#xff1a;面向yolo系列目标检测算法学习与实战的专用数据集&#xff0c;适合需要训练半挂车识别模型的开发者、研究人员及计算机视觉初学者使用。压缩包内共607个文件&#xff0c;包含546张jpg实景图像、30个txt格式的yolo标注文件、30个xml格式的voc标注文件以及1个dat…

作者头像 李华
网站建设 2026/10/14 5:08:14

黑屏花屏闪屏别急着换屏：显示故障定位三板斧与五分钟速查表

上周收到的一台笔记本&#xff0c;开机指示灯亮、风扇也转&#xff0c;屏幕却黑得找不到一丝光。客户一进门就断言“屏坏了&#xff0c;准备换屏”。我没有急着拆后盖&#xff0c;先接过机器&#xff0c;把屏幕角度调到最容易看的位置&#xff0c;用强光手电筒贴着屏幕斜照过去…

作者头像 李华
网站建设 2026/10/13 2:19:39

家宽IP + 零泄露配置：Codex开发环境的防封手册

使用住宅IP提升Codex稳定性&#xff0c;核心在于让网络环境看起来像一个真实的普通家庭用户。这不仅仅是挂一个代理那么简单&#xff0c;而是一套组合策略。以下是一份基于实战经验的稳定指南。 核心原则&#xff1a;稳定 > 一切 在追求“高级”之前&#xff0c;先确保“稳定…

作者头像 李华
网站建设 2026/10/13 16:01:14

Matlab SVM参数寻优：交叉验证是泛化能力的唯一探针

简介&#xff1a;本资源是一份面向机器学习初学者与MATLAB实践者的SVM参数优化实战材料&#xff0c;聚焦支持向量机在分类任务中的关键调参问题&#xff0c;特别适用于课程设计、课程实验及小型科研项目中RBF核SVM模型的构建与调优。压缩包共2个文件&#xff08;1个MATLAB脚本S…

作者头像 李华