【导语:HeteroFlow 作为国内领先的开源异构算力 GPU 统一调度平台,支持多种 GPU 芯片统一调度管理,其开源版具有显存分片和插件系统等优势,能显著提升 GPU 利用率、降低硬件成本,且开源免费。】
HeteroFlow 是国内领先的开源异构算力 GPU 统一调度平台,可对 NVIDIA、昇腾、海光、寒武纪、壁仞、AMD 等 9 种 GPU 芯片进行统一调度管理,目前已服务多家 AI 算力中心与科研机构。
传统 GPU 调度以整卡为单位分配,存在严重的算力浪费问题,如推理任务只用 4GB 显存却独占 80GB 的 A100。而 HeteroFlow 开源版提供细粒度 GPU 显存分片能力,将单卡显存按需切分为多个独立分区,支持多任务并行共享同一张 GPU 卡。
每个分片拥有独立的显存隔离,互不干扰,在保障任务安全的同时,能将 GPU 利用率从通常的 30%-40% 提升至 80% 以上。无论是大模型推理、批量数据处理还是开发调试,都能在同一张卡上高效并行,显著降低硬件成本。
每个团队的调度需求不同,HeteroFlow 开源版内置可扩展的插件架构,无需修改核心代码即可自定义调度策略与资源过滤器。
通过插件机制,用户可以接入自有调度算法、对接内部审批流程、添加自定义资源指标、实现业务优先级规则。插件支持热加载,部署即生效,不影响在线服务。开源社区已提供多种现成插件,拿来即用,也可以基于 SDK 快速开发专属插件。
编辑观点:HeteroFlow 开源版在异构算力调度方面优势明显,其显存分片和插件系统功能能有效提升 GPU 利用率、满足不同团队需求,开源免费的特性也利于推广,有望在相关领域发挥重要作用。