10月22日至24日,2026中国计算机大会(CNCC 2026)在四川成都举办。作为CNCC大会官方金牌合作单位,沐曦股份全程深度参与并主办“Token经济下的开源AI Infra机遇和挑战”分论坛。
分论坛围绕推理优化、异构适配、云原生服务与AI4S等核心议题,汇聚全国顶尖开源社区、高校与产业界嘉宾,共同探讨如何通过开源协作,让算力更高效地服务AI应用落地。
从算力到服务,效率藏在系统细节里
当前,企业实际部署落地AI应用时,常常要面临的问题是:算力已经就位,但能不能用好?算力投入后,模型能否及时就绪、缓存能否有效复用、请求能否合理调度,都会影响最终的服务成本与体验。
龙蜥社区理事长、阿里云智能集团研发副总裁马涛以《从Token效率到Agent生产力》为题,从模型权重分发、初始化恢复、KV Cache复用等环节出发,分享了面向智能体时代的推理优化思路。他认为,减少重复加载与计算,让已有资源更快转化为可用服务,也让系统经验沉淀为可复用的社区能力,可以显著提升Token使用效率。
vLLM社区大使张家驹则围绕开源分布式推理框架llm-d,详细介绍了请求路由、缓存感知调度、预填充与解码分离等推理技术实践。当推理走向多节点、多模型和多种负载,如何组织资源、协调执行,正在成为提升服务效率的重要一环。
上海交通大学宋卓然教授则从大模型高效部署出发,讨论长上下文、非规则计算与受限资源下的性能瓶颈,并展示了算法、系统与硬件协同优化的不同路径。
芯片架构日益多元,适配经验如何共享?
模型经过推理优化加速后,最终都要跑在具体的芯片上,这一环节的适配将直接决定最终的效率。
但随着模型和推理框架快速迭代,芯片架构日益多元,GPU、NPU、TPU、存算一体,不同芯片对应不同架构,适配与维护的工作也随之增加。如何减少重复开发,让一次工程投入惠及更多硬件平台,是开源生态需要共同解决的问题。
先进编译实验室研究员刘艳青以FlagOS生态下的多芯异构适配为例,介绍通过插件机制衔接上游推理框架、复用公共算子与通信能力的实践。在保留不同硬件优化空间的同时,将共性工作沉淀到共享的软件体系中,有助于降低长期适配与维护成本。
这也正是开源协作的价值所在——不是口号,而是一个个具体的工程接口,让框架更容易接入,让能力更容易复用,让优化能够随着社区共同持续演进。
让基础设施能力走进应用与科研
CCF会士、常务理事、开源发展技术委员会副主任、LVS开源软件创始人章文嵩,围绕大模型时代云原生基础设施服务的机会展开分享。他提出,各行业的智能化升级将催生新的数据与 AI 基础设施需求。通过复用软件经验与公共资源,基础设施服务能够帮助开发者把更多精力投入模型、数据和应用创新,开源则为技术扩散与生态协作提供支撑。
在科学研究场景中,沐曦股份产品研发部高级总监赵学庆围绕AI4S模型与科研工作流,分享了国产GPU在材料计算、生物医药、气象等领域的适配与应用实践,并介绍科研智能体对模型、工具和计算资源的组织方式。
从单个模型的部署优化,到完整科研流程的协同,开源正在连接研究方法、软件工具与算力平台,为更多开发者参与交叉创新提供入口。
值得一提的是,由沐曦股份联合 AI Infra 开源社区、GitLink 开源平台、DataWhale 开源学习社区、书生大模型开源社区、启悟学习社区共同主办的“国产 GPU 加速科研线上实战营”也于10月20日开启报名,感兴趣的同学和开发者们可点击“阅读原文”进入报名页面。
十年后的AI,十年后的开源
今天,我们讨论如何让每个Token更高效。如果把时间拉长到十年,AI会以怎样的方式参与工作与科研?当越来越多的代码由AI编写,开源社区的参与者、协作方式与治理规则,又会发生怎样的变化?
这些问题可能当下还没有答案,但沐曦股份期待未来与各位并肩同行,一同去寻找十年后的答案。
阅读原文:国产 GPU 加速科研线上实战营