AI正在进入真实世界,但落地并不容易。
算力贵、显存高、功耗大、硬件成本居高不下。
面对这些问题,星凡智能没有将技术路线局限于通用算力扩展,而是围绕具身智能体任务特点,推进算法、推理引擎、芯片架构与系统产品协同优化,让有限的硬件资源释放出更高的计算效率。
前期,星凡智能已与西安交通大学自主系统与智能芯片研究团队达成深度产学研战略合作,由国家级高层次人才孙宏滨教授领衔的教授及博士团队,将与星凡智能共同攻克片上自学习AI芯片难题。
一、算法先行:混合精度量化,精度近乎无损
星凡智能的算法能力,是芯片架构设计与系统优化的重要基础。
前沿推理优化技术
1. 混合精度量化
智能体基座模型的参数量动辄几百亿、上千亿,存储这么多参数的显存成了第一道坎。但我们不搞“一刀切”。而是基于对权重重要性的深度洞察,采用多种数据精度去量化模型。关键权重采用高精数据格式保存,非关键权重采用低精度数据格式保存。
部署体积最高减少85%,硬件成本节约50%,精度几乎无损。
2. 稀疏化优化
不干“无用功”,而是基于权重重要性分析,自动识别并跳过低贡献权重来减少计算量。
原生支持2:4、1:4稀疏比。减少无效计算,提升单位算力利用率。算得更快,能耗更低。
3. 低比特量化
优化权重INT2/INT3/INT4的量化精度,意味着面向推理场景,在保证模型性能的前提下能够用更少的功耗和硬件资源,让智能体高效运行。
4. 自研推理引擎
光有模型还不够,推理引擎得跟上。
星凡智能自研的推理引擎,专门为混合精度量化模型优化。支持1~8bit混合精度,软硬件协同调度。
具体效果如何?
以DeepSeek-V2-Coder 236B稀疏版模型测试为例,输入长度设置为512 token,采用星凡智能推理引擎的8×RTX 4090平台,与8×H20(开源方案)参考平台进行对比。前者硬件采购成本约为后者的18%。
测试结果显示,在batch 1—32的不同并发条件下,8×RTX 4090平台的生成吞吐达到8×H20参考平台的74%—120%。其中,batch 1—4时生成吞吐高出约10%—20%;batch 8时基本持平;batch 16和batch 32时,分别达到参考平台的89%和74%。
这意味着,星凡智能推理引擎能够让成本更可控的硬件平台获得接近、持平,甚至在部分低并发场景超过H20参考平台的生成吞吐,为大模型本地化部署提供更具成本效率的选择。
物理AI落地的门槛,被进一步拉低。
片上低资源学习
在与西安交通大学自主系统与智能芯片研究团队的联合研发中,引入无知识遗忘训练与低资源消耗训练技术,攻克训推计算成本高、归一化层瓶颈、稀疏模式不一致等核心难题,即使在受限算力、存储和功耗条件下,仍然能持续提升模型能力。经测试,浮点运算量减少40%,EMA成本降低39%。
具身智能体能力闭环
基于综合性知识论构建的具身智能体可在运行过程中实现自主采集数据、自监督训练、能力自提升,该框架支持千亿级参数的基座模型。
大模型稀疏化与定制化芯片关键技术研究与应用的科技成果获评国际先进:
星凡智能自主开发的Text2SQL技术,也在全球打榜中交出了成绩单:精度全球第9,效率全球第8。
相关技术的论文,收录在了全球自然语言处理三大顶会之一的ACL里。
顶会认可 + 榜单验证,这是星凡智能技术领先性的有力佐证。
二、自研芯片技术接力:硬件原生加速
算法能力足够强之后,如果仍完全依赖通用芯片运行,依然需要经过软件调度、数据搬运、指令转换等环节,每一步都可能带来功耗和延迟。
星凡智能的做法是什么呢?
把算法“刻”进电路里。不是简单堆叠核心,而是围绕物理AI推理任务,让不同计算单元承担更适配的工作。
异构多核芯片架构:
构建起面向物理AI的异构多核大算力并行芯片架构,将算法技术在芯片电路层面原生实现,面向量化、稀疏、自学习训练等关键算法提供硬件级原生加速。
1. 混合精度量化硬件原生集成:芯片内部直接集成INT2/3/6计算单元。减少软件调度开销,降低计算延迟和功耗。
2. 混合稀疏硬件加速:原生支持2:4、1:4稀疏比。显存带宽占用减少,数据搬运能耗大幅降低。
3. 自学习训练硬件化:硬件原生集成梯度计算与非结构化参数更新电路,支撑片上低功耗、低显存的本地在线优化。
大算力并行计算能力
通过高速并行总线实现多核协同调度与高吞吐计算,显著提升推理效率。INT8可达280T算力,综合等效算力超420T。
片上自学习训练单元
在与西安交通大学自主系统与智能芯片研发团队的联合研发中,基于硬件非结构化参数更新技术,支撑低功耗、低显存训练能力,赋予设备持续学习与能力进化基础,实现等效面积效率41.2 GOPS/mm²,等效能量效率90.63 TOPS/W
从算法优化到芯片架构,从推理引擎到系统产品,星凡智能正在把高效推理、低功耗部署和持续学习的能力,沉淀为可落地、可复制、可规模化的芯片能力。
未来,星凡智能将继续以自研物理AI芯片为核心,以真实世界数据飞轮为关键支撑,构建覆盖芯片、算法、数据与场景的核心能力体系。面向具身智能、太空计算、Token工厂、低空经济等战略场景,为物理AI进入真实世界提供高效、可靠的算力基座。