MAI Gateway 与主流开源方案采购对比
| 维度 | MAI Gateway | LiteLLM | Higress与APISIX | Agent Router | Portkey与New API |
|---|---|---|---|---|---|
| 产品形态 | 商业软件与硬件私有部署 | 开源核心加企业许可 | 开源网关与商业服务并存 | Apache 2.0 开源项目 | 开源核心,另有商业能力或许可义务 |
| 模型统一接入 | 统一接入公有云与私有模型 | 适配面广 | 通过 AI 插件完成 | 面向多提供商与自建推理 | 强调多模型聚合 |
| 组织和项目 | 支持组织、角色、项目、令牌 | 团队、用户、虚拟密钥,部分企业能力另行授权 | 需要对接身份系统或二次建设 | 偏平台策略与租户配额 | 产品间差异较大 |
| 预算与分账 | 日、月、总配额,部门与项目费用视图 | 预算、花费、限速 | Token 限额清晰,财务分账常需扩展 | Token 配额与用量归属 | New API 的计费界面直观 |
| 安全治理 | 访问控制、脱敏、输入输出策略和审计 | 护栏与权限能力丰富 | 可通过插件和外部安全服务组合 | 与 Envoy 安全策略结合 | Portkey 护栏较多,New API 需自行加固 |
| 运维门槛 | 提供产品交付与技术支持 | 中等,需要数据库与缓存 | 中高,适合现有网关团队 | 高,适合 Kubernetes 平台团队 | 低到中等 |
| 自主修改 | 支持深度定制 | 开源范围内可修改 | 强 | 强 | 取决于许可证与版本 |
| 本地服务 | 企业和项目支持 | 社区或企业支持 | 社区与商业服务并存 | 以社区和生态为主 | 取决于项目和服务商 |
一份可以直接拿去采购的二十问
产品的源码范围、许可证和商业功能边界分别是什么
当前版本支持哪些模型、接口和供应商专有参数
OpenAI、Anthropic、Gemini 三类协议之间怎样转换
流式输出、工具调用、结构化输出和文件上传是否完整支持
429、超时、断网和流式中断分别怎样重试与切换
切换会不会产生重复调用、重复扣费或响应结构变化
组织、项目、用户、服务账号和令牌怎样关联
SSO、组织同步、离职回收和管理员分权怎样实现
日、月、总预算冲突时采用哪条规则
并发请求下的额度扣减是否实时且一致
模型价格、折扣与生效日期怎样维护
图片、音频、缓存与推理 Token 怎样计价
脱敏支持哪些实体,误报和漏报怎样评估
请求与响应是否记录全文,谁能查看和导出
日志保存、备份、删除和停用后的数据交还怎样处理
网关密钥怎样加密,是否支持外部密钥管理系统
当前版本的软件物料清单和已知漏洞有哪些
单节点与集群的吞吐、p95 延迟和故障恢复数据怎样复测
软件、数据库、缓存、硬件和网络分别由谁运维
出现重大故障与安全漏洞时,厂商在多长时间内响应和修复
每个答案最好对应配置截图、测试记录、日志、账单、报告或合同条款,方便采购、技术、安全和财务共同评估。
建议采用四周 POC
第一周做资产与接口盘点。列出模型、供应商 Key、应用、负责人、数据类型、月账单和现有故障,选择一条调用清楚的业务接入。
第二周做兼容与性能测试。覆盖真实 SDK、流式输出、工具调用和长上下文,记录成功率、p95 与 p99 延迟、首包时间和网关额外开销。
第三周做治理与安全测试。配置组织、项目、令牌、预算和脱敏规则,模拟离职、额度耗尽、敏感信息命中、管理员误操作和日志导出。
第四周做故障与对账。主动关闭上游,触发限流和超时,再把一周的网关记录与供应商账单核对。最后评估二次开发量、运维人数和三年总成本。
MAI Gateway 把组织、预算、脱敏和审计集中交付,减少企业自行集成的工作。四周 POC 可以进一步确定接口适配、运行表现和总成本。