最近项目里接了三个模型——Qwen做长文本总结,DeepSeek做代码生成,千帆做特定领域问答。每个模型都有自己的SDK和鉴权方式。 最初的版本是前端直接分别调三个接口,代码散落在各种service里,切换模型要改业务代码。更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。 后来我加了一层反向代理,整体架构变成了:前端→统一网关→模型路由表→供应商。 核心实现就三步: 1. 前端只调一个 /api/chat 接口,请求体里加一个 model 字段 2. 网关根据 model 字段查路由表,匹配供应商和真实endpoint 3. 做一个简单的协议适配层——OpenAI格式进来,千帆格式出去 Qwen的DashScope和DeepSeek的OpenAI兼容格式差异不大,主要是千帆需要先用API Key换access_token,这个token有两小时有效期。我在内存里做了个带过期时间的缓存,并发情况下用singleflight避免重复请求。 计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。月底直接拉报表。 踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_token刷新成为瓶颈,后来换了互斥锁+提前刷新解决了 这个方案的代码量不大,核心就一个路由表和两个适配器。但带来的收益很明显——切模型零代码改动,计费统一,新增供应商只需要加一行路由配置。 如果你也在做多模型接入,可以试试这个思路。
一个接口调用三个模型,我只用了一个反向代理
张小明
前端开发工程师
你会因为AI焦虑么?
AI,究竟是解药,还是新的焦虑源头? 当AI绘画一键生成精致画面,AI代码几秒写完完整程序,AI文案瞬间产出千字文稿,人工智能不再是科幻电影里的遥远想象,而是深度渗透职场、学习、生活的日常工具。有…
9 年 IDEA 老用户,终于把它彻底卸载了!
大家好,我是程序员鱼皮。 最近在写 AI 编程工具评测,需要打开 IDEA 测试一些插件。 打开一看,好家伙,我的 IDEA 订阅竟然快要过期了。。。 有点恍惚,我好像已经很久没有正经打开过 IDEA 了,上一次用它写…
这道题到底在考察什么?
很多人以为这道题问的是"你会不会让AI写自动化代码"。错了。这道题真正考察的是:AI时代下,测试工程师是否具备自动化测试全流程的完整落地思维、风险把控能力和体系搭建能力。说白了,面试官想听的不是"AI帮我写了多少行代码&q…
在长度2N的数组中找出重复N次的元素(三)
接上文,我们来看第二中解决方案:方法二:数学思路与算法我们可以考虑重复的元素 x 在数组 nums 中出现的位置。如果相邻的 x 之间至少都隔了 2 个位置,那么数组的总长度至少为:当 n > 2 时,3n−2 > 2n…
3分钟开启记忆守护:微信聊天记录永久保存的智能方案
3分钟开启记忆守护:微信聊天记录永久保存的智能方案 【免费下载链接】WeChatMsg 提取微信聊天记录,将其导出成HTML、Word、CSV文档永久保存,对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeChatM…
Gophish管理员密码丢失?SQLite数据库哈希重置实战指南
1. 项目概述:当Gophish的Admin密码丢失时在安全测试和员工安全意识培训领域,Gophish无疑是一个明星级的开源工具。它轻量、易用,功能聚焦,让钓鱼演练的部署变得前所未有的简单。然而,正是这种“开箱即用”的便捷性&…