2026年9月到10月这两个月的神经算子（Neural Operator）论文，放在整个AI for Science的语境里看，算是近两年最值得翻一翻的一批。神经算子这个方向核心解决的问题很具体——传统神经网络只能学"点到点"的映射，而物理模拟、工程设计里大量需求是"函数到函数"的映射，比如根据初始速度场直接推未来时刻的流体场，或者从材料结构直接预测应力分布。这类任务如果用普通CNN去做，换一套网格分辨率就得重新训一遍，神经算子用特殊的算子学习结构把网格依赖性降下来，这才是它能在科学计算圈站住脚的根本原因。这两个月的预印本和正式发表，正好集中在精度不够、外推能力差、工程落地难这几个关键痛点上。无论你是偏算法的研究者，还是在工程里被传统数值求解器的计算成本逼得想换路子的工程师，这篇解读都在尽量用从业者之间交流的方式说清楚：哪些论文值得细读、它们背后的设计逻辑是什么、以及复现时容易栽在哪儿。
1. 方向整体感知：2026年9-10月到底在热什么
1.1 论文关键词与热度画像
这两个月神经算子相关的论文，我按主题扫了一圈，大致可以分成四个集群。第一是架构创新，集中在多尺度处理、注意力机制融合、以及参数效率优化；第二是训练策略，物理约束怎么加、小样本怎么训、不确定性怎么估；第三是应用落地，流体、固体、电磁、天气气候都有新工作；第四是理论分析，也就是通常说的泛化界这类内容，数量虽然少但质量在明显上升。
有一个很直观的变化是，纯靠"换个激活函数、堆更多层"就发一篇文章的做法几乎看不到了。大家更愿意讨论的是"在没有训练过的分辨率上表现如何""能不能推长时间步"这种更接近真实物理需求的问题。这说明整个领域正在从"证明可以在玩具问题上work"走向"证明在真实问题上有价值"。
1.2 与上半年相比的三个变化
先说第一个变化："跑得通"到"算得准"。上半年很多工作还在展示loss曲线有多漂亮，这两个月开始有论文专门盯逐点误差和能量守恒误差，甚至在超定网格上做检验。我认为这是好事，说明大家对精度指标的认知在收敛，不再拿一个漂亮的相对误差糊弄过去。
第二个变化是训练规模在拉大。不再是一张单卡从头训到结束，我看好几篇论文用大规模数据并行加梯度积累，跑在数十卡集群上。有意思的是，单纯堆数据和算力并不总能带来精度提升，关键的拐点出现在训练数据的物理多样性足够之后。也就是说，瓶颈主要不在于算力，而在于数据覆盖了多少种边界条件和初始场形态。
第三个变化是混合范式的回归。所谓混合，是指把神经算子和传统数值方法组织在同一个计算流程里。9-10月这类论文很多，比如有的工作用神经算子在粗网格上快速生成流场近似，再交给局部有限体积法做细网格修正。这个思路背后有很现实的动机——纯数据驱动的端到端模型在长期可信度上有天花板，传统方法虽然慢但是在守恒和稳定上可靠，两者各干各擅长的部分，反而能在精度和速度之间找到更好的平衡点。
2. 架构层面：多尺度、注意力与神经算子的融合
2.1 谱方法不再是唯一答案：动态频率加权的多尺度算子
这两个月的论文里，最让我眼前一亮的架构类工作，是一批针对傅里叶神经算子频率处理方式做改进的研究。经典FNO是在频域做全局卷积，通过截断高频来保证计算可负担，但这个固定截断在高频丰富的湍流、波动问题里会直接砍掉关键信息。9月有一篇工作提出了可学习的频率加权，相当于给每个频率分量配一个可训练的权重门控，让模型自己决定哪些频率值得保留。
这篇论文有意思的地方在于，它的加权空间不是简单地在谱域乘一个向量，而是在不同block之间共享一份可学习的权重矩阵，并加入一个频谱能量正则项，强制权重偏向保留能量集中的低频段、同时不彻底抹掉高频尾巴。实验里在Taylor-Green涡这种经典基准上，比固定截断的FNO在峰值误差上低了大约一个数量级。不过要说清楚，这个增益主要集中在分辨率外推的中后期，早期训练和推理分辨率一致的时候优势并不明显。
这类设计的合理性其实可以从信号处理的角度理解。物理场在频域的能量分布通常极不均匀，低频集中了大部分能量，但高频往往决定了小尺度结构的演化。一个固定截断相当于对分辨率上限做了硬编码，导致模型学到的映射天然依赖训练时网格能表达的最大波数。可学习加权的意义在于，让模型在训练数据充足的情况下自己决定频率响应曲线的形状，等于把频率截断从超参数变成了可训练权重。
2.2 稀疏注意力：给算子装上长程感知
过去大家对Transformer进科学计算最大的顾虑就是注意力机制的计算复杂度是O(N^2)，而物理场动辄几十万上百万个网格点，直接套用根本跑不动。10月有几篇混合架构论文给出了一个共同解法：局部算子负责短程相互作用，稀疏注意力只负责长程连接。
其中一个做法我印象很深，它将网格按空间分块，块内用局部傅里叶卷积处理，块间用限制数量的注意力头建立联系。一篇文章把这种做法叫"二尺度注意力"，先在粗网格上计算注意力权重，再把权重通过插值映射回细网格。这种设计实际上是把"在哪里建立长程连接"这样一个组合爆炸问题，先降维再升维地解决掉，思路很聪明。
我用一个比较直观的类比帮助理解：全局注意力像是每个网格点要跟全世界的人握手，显然不现实；局部加稀疏注意力的做法，相当于先选几个代表，城市范围内互相打招呼，城市之间由代表来对接，既保留了跨区域的信息传递，又把通信量降下来了。实测中这类架构在低马赫数绕流这类既有明显局部特征、又有尾迹长程影响的问题上，比纯局部模型的外推能力要强出一截。
2.3 轻量化与参数效率：从知识蒸馏到隐空间压缩
架构层面还有一个值得关注的方向是轻量化。9月底有一篇论文讨论了如何把已经训好的复杂神经算子蒸馏到一个小得多的学生网络里，关键是蒸馏的目标不是输出场本身，而是中间层的频域特征。我刚开始觉得这不就是常规蒸馏吗，仔细看才发现它对频率特征的匹配用了专门设计的目标函数，能保留教师模型的频谱响应习惯。
另一类做法是把算子作用的空间从原始网格压缩到隐空间，也就是在低维隐编码上做反卷积式的推理，然后再解码回物理空间。这个方向直观优势是训练和推理时的显存占用大幅下降，代价是重建时对边界条件的还原比较吃力。有一个技巧是在解码时引入边界损失项，专门惩罚边界处的误差，我在复现时发现这个技巧确实有效，边界误差能压下去不少。
这类轻量化工作的意义不只是在省算力。在很多实时控制场景里，推理延迟往往比精度更敏感，一个需要几十毫秒才能出结果的算子根本无法嵌入控制环，蒸馏后的轻量版本能把延迟压到几毫秒以内，这决定了技术能不能真正从仿真走向现场。
3. 训练策略：物理约束、数据效率与不确定性
3.1 硬约束还是软约束，怎么选
物理约束在神经算子里的讨论已经不是新鲜话题了，但这两个月的论文给出了更细的取舍判断。软约束的思路是在损失函数里加一个物理残差项，让模型在训练时被鼓励去满足偏微分方程，但最终模型输出的仍然是"自由"的，不保证严格守恒。硬约束的思路更进一步，把输出结果投影到满足物理定律的子空间上，让神经网络根本没有机会输出违反物理的结果。
9月有一篇论文对这两种思路做了系统对比，并提出一个分层约束策略：浅层用软约束快速收敛，最后几层用硬投影强制性守恒。这个渐进式约束的思路我认为实战价值很高，因为它绕开了纯硬投影在训练早期梯度难以传播的问题，又能保证最终输出满足关键物理不变量。
我在调试这个思路时踩过一个明显的坑：硬投影如果直接在输出层做，比如把速度场的散度投影到零，投影操作本身会引入较大的数值噪音，导致反传梯度震荡。解决办法是把投影放到特征层而非输出层，效果立马稳定下来。这一点原论文其实没有具体讨论，属于复现时的补充经验，但凡涉及守恒投影的模型我都建议先试试这个改动。
3.2 小样本与多保真度：数据稀少时怎么办
科学计算领域永远绕不开数据稀缺问题，真实实验和真实数值模拟的样本获取成本太高。10月有几篇论文集中讨论了小样本场景下的算子学习。其中一个方向是用预训练算子做微调，他们先在大量便宜的粗网格模拟数据上预训练一个通用算子，再用少量细网格高保真数据去微调。这个思路非常像大模型里的预训练加指令微调，实际效果也确实不错。
另一个更有新意的方向是多保真度数据融合，把高保真但量少的数据与低保真但量多的数据放在同一个训练过程中，通过一个门控机制自动调整样本权重。这个门控不是固定值，而是会根据当前阶段在验证集上的表现做动态调整。有意思的是，实验里数据比例为高保真比低保真等于一比十时收益最大，反过来达到十比一的时候，反而会让模型被不准确的高频信息干扰，精度下降。这个结论提醒我们，并不是高保真数据越多越好，数据量的平衡同样重要。
多保真度的概念可以用一个生活化的例子来理解。想象你请一个裁缝做衣服，高保真的量体数据就像精确到毫米的测量，成本高但准确；低保真数据就像目测估计，量大但粗糙。如果只有几十组精确测量，裁缝很难学会各种体型的剪裁规律；但如果让粗糙估计占了绝对主导，又会把衣服做得处处不对劲。关键恰恰在于让两批数据互相补充，而不是互相淹没。
3.3 不确定性量化：从给一个答案到给一个置信区间
对于做决策的人来说，光有一个预测均值是不够的。这两个月里我看到了几篇不确定性量化的论文，主流做法是改造成本不大的集合训练，也就是训练多个算子和结果聚合；也有论文用贝叶斯神经网络，在权重上建模高斯分布。其中一篇工作比较有意思，它不去建模权重的不确定性，而是对频域系数做不确定性建模，输出每个频率分量的均值和方差。因为是频域建模，隐含了不确定性在空间上有结构性分布，这一下就比简单在像素上给方差要规范得多。
这种结构化的不确定性信息在工程上的价值很大。比如在一个流场预测任务里，如果模型告诉你涡旋脱落位置附近的方差特别大，工程师就知道这个区域的预测不能盲信，需要补算高精度数值模拟或者加密实验。这正是神经算子从科研演示走向工程决策支持的关键一步——过去模型只负责产生一个确定性的漂亮云图，现在它能诚实地说出哪里可信、哪里需要加倍小心。
4. 应用场景观察：从基准测试到解决实际问题
4.1 天气气候与流体模拟：长程预报开始进入马拉松
9-10月应用类论文最集中的领域还是天气气候和流体模拟，也是神经算子最自然的落地场景。有一篇工作直接针对区域天气预报场景，用神经算子替代区域天气模型里的部分物理参数化方案，把边界层的辐射和对流调整用算子学习替代，保留动力核部分不变。这种局部替代的做法我非常认同，因为一个纯数据驱动的天气模型在解释性上始终是短板，但把算子嵌到成熟数值模式里充当子模块，就能兼顾效率和可信度。
在流体模拟方向，有一篇关于湍流壁面模型的论文也值得注意。它解决的是大涡模拟中近壁区域网格分辨率不足导致的计算误差，用一个从高分辨率直接数值模拟数据训练出来的神经算子作为壁面模型，注入到大涡模拟框架里。结果是在粗糙网格上预测壁面摩擦阻力，误差比传统解析壁面模型低了不少，同时计算成本基本没增加。这类工作一旦稳定下来，对工程流体计算是非常实用的增量，因为壁面附近网格永远是代价最昂贵的地方。
4.2 固体力学与材料科学：网格无关性兑现价值
固体力学方向这两个月的新工作，最核心的卖点依然是网格无关性。有一篇做裂纹扩展预测的论文，把神经算子训练在不同尺寸和拓扑的网格数据上，推理时无论网格怎么换都能输出连续合理的应力分布，这在传统有限元里几乎不可能做到。材料参数变化时也不需要重新训练模型，因为算子学习的是材料映射关系的一部分，参数可以当作额外输入条件不断调整。
另一个值得关注的方向是复合材料性能预测。模型输入是微观结构图像，输出是整个代表性体积元的宏观应力应变响应，本质上是把细观的有限元计算整个压缩成了一次算子推理。这类工作的落点在于后续可以大规模筛选材料配方，之前一个配方的计算要做几小时甚至一天，现在变成秒级出结果，搜索空间就能扩大几个数量级。对材料研发这种高试错成本的领域，这个变化相当于把原来的串行筛选流程改成了并行探索。
4.3 反问题与数字孪生：算子和优化器结合的新姿势
我特别想展开的是反问题方向。传统的反演框架里通常需要反复调用正问题求解器，每次调用都是高昂的计算成本。神经算子在这里最大的优势是可以充当一个可微的正向代理模型，让反演优化直接在代理模型上做反向传播迭代。
9月有一篇论文就把这种思路用到了电磁参数反演上，训练一个神经算子作为正演代理，再在潜在空间里做梯度优化。相比传统全波数值正演配优化算法，速度提升非常明显，精度也够用。这种端到端的组合已经不能简单叫代理模型了，更像是一个可微数字孪生体。个人判断，这是未来一年内最有希望快速落到工程应用的方向之一，因为它的收益明确、集成路径清晰，不需要推翻已有的优化框架，只需要把最耗时的正演求解器替换掉。
5. 复现与选型经验：几个值得记住的实操结论
5.1 训练分辨率与推理分辨率不一致，是最大的坑
我在复现这两个月的多篇论文时，最先注意到的一个共同点是，几乎所有精度对比表里，分辨率外推的表现都比同分辨率验证差一大截。这本身不是新闻，但新的观察是：很多做得好的论文并不是靠模型结构多复杂，而是靠训练时精心设计的数据采样策略。一个有效的做法是在训练中随机改变网格粗细做数据增强，让模型见惯了各种分辨率，推理时自然更稳。
具体操作上，可以在每个训练epoch里把同一个样本随机重采样到不同分辨率，让模型每次看到的数据网格密度都略有变化。我测试下来，这个简单的改动往往比换一个更花哨的模型结构带来的提升还大，而且几乎不增加训练成本。相比之下，如果只在固定分辨率上训练，哪怕训练误差压到很低，一旦推理网格加密，误差立刻反弹，这点在选型时一定要有个心理预期。
5.2 归一化与量纲信息：比想象中更重要
第二想强调的是特征归一化。不少神经算子复现失败，根本不是模型写错了，而是输入输出的量纲和分布没处理对。物理场之间的量级差异可能差好几个数量级，比如压力可能是六位数、速度只有个位数，如果不做归一化，训练出来的模型会在数值大的通道上占主导，小量纲通道几乎学不到东西。我建议至少对每个输出通道做独立归一化，并且把物理常数作为额外特征显式输入，而不是指望模型自己从数据里悟出这些常数。
举一个实际例子，复现一个二维绕流算子时，一开始我把来流速度、压力和密度直接裸输入模型，loss下降很慢，而且预测压力场的相对误差一直在百分之几十上下徘徊。后来把三个通道分别做z-score归一化，同时把雷诺数作为全局条件向量拼进输入序列，训练收敛速度和最终精度都有了明显改善。这个改动不涉及任何模型结构变化，纯粹是数据入口的工程细节，但效果差别非常显著。
5.3 工具链建议与下一步值得关注的方向
工具选择上，PyTorch仍然是复现神经算子最顺手的框架。FNO这类模型的主流实现已经很成熟，社区代码库也维护得比较好。如果试过几个项目，会发现JAX在自动微分和函数式编程上有独到优势，但科学计算后处理工具的生态不如PyTorch直接。多卡训练时，分布式数据并行配合梯度裁剪基本够用，并不需要特别复杂的并行策略。显存不够的时候，优先尝试梯度累计和混合精度，这两个组合能解决大部分显存不足的问题。
至于下一步方向，我最看好的依然是多保真度数据融合和可微数字孪生这两条线。前者解决数据稀缺的痛点，后者解决传统优化流程计算成本高的问题。另外，大语言模型与算子学习的结合也有苗头，但能把通用知识和物理结构真正塞进神经算子的研究，我认为在产品落地之前还需要一到两轮沉淀，现阶段不必急着追这个热点。
追踪这两个月的论文，我最大的体会是：神经算子的价值不在单个模型的精度表，而在于它能不能改变我们组织计算的方式。最初我也迷信过端到端替代，觉得一个算子到手可以踢掉所有数值求解器，后来踩过几次坑才清醒。把神经算子插到传统流程的薄弱环节里，让两者各干各擅长的活，收益往往比追求"全替代"大得多。反过来，如果一篇论文的卖点只是"在某某数据集上提升了零点几个百分点"，没有说清楚它怎么改变计算流程或者建模方式，那大概率不值得花太多时间。
给刚开始看神经算子论文的同学一个建议：拿到任何一篇新工作，先看它的训练数据和推理分辨率，再看它的评估指标是不是包含外推测试，最后才是模型结构有多花哨。顺序反了，容易被花哨的图表带偏。这两三个月的论文里，让我觉得能沉淀下来的思路并不多，但每一个都踩在真实痛点上，这是好现象。尤其是"局部替代成熟数值模式"和"粗糙网格准出可用的高精度统计量"这两个思路，几乎可以确定会在接下来的半年里扩散到更多工程领域。
