最近在折腾本地大模型时，发现Ollama虽然能方便地运行多个模型，但每次想对比不同模型的表现都得手动切换，特别影响效率。于是琢磨着做个工具来提升测试效率，顺便把实现过程记录下来分享给大家。
需求痛点分析
本地测试不同模型时，最麻烦的就是要反复切换模型、重复输入相同问题。比如想对比Llama3和Mistral对同一个问题的回答差异，传统方式需要：启动Llama3→提问→记录结果→关闭→启动Mistral→重新输入问题→再记录...这个过程既耗时又容易出错。解决方案设计
通过网页工具实现"一次提问，多模型响应"的功能。核心思路是：- 前端提供统一输入界面和模型选择区
- 后端通过Ollama API并行调用选中的模型
- 结果用标签页形式并排展示
关键技术实现
用简单的HTML+JavaScript就能实现主要功能。重点包括：- 使用fetch API异步调用Ollama的/completion接口
- 通过Promise.all实现多模型并行请求
- 动态生成结果标签页，每个标签页显示对应模型名称和响应内容
- 添加加载状态提示，避免用户重复点击
效果优化技巧
实际使用中发现几个提升体验的细节：- 为每个模型响应添加时间戳，方便对比生成速度
- 支持一键复制单个模型的回答内容
- 自动保存最近5次提问历史
- 响应内容自动高亮显示代码块
典型使用场景
这个工具特别适合以下情况：- 新模型上线时的基准测试
- 为特定任务选择最优模型
- 批量处理提示词工程优化
- 模型微调前后的效果对比
遇到的坑与解决
开发时踩过两个典型的坑：- 最初用同步请求导致界面卡顿 → 改用异步并行请求
- Ollama API偶尔返回429错误 → 添加简单的指数退避重试机制
- 长文本响应导致页面卡顿 → 实现虚拟滚动优化
扩展可能性
后续还可以考虑加入：- 响应质量评分功能
- 自动生成对比报告
- 支持自定义API端点
- 添加模型性能监控面板
实际使用下来，这个工具让我的模型测试效率提升了至少3倍。以前要花半小时做的对比测试，现在5分钟就能完成，还能直观地看到所有结果对比。
整个项目我在InsCode(快马)平台上只用了不到2小时就完成了开发和部署。这个平台最方便的是不需要配置任何服务器环境，写完代码直接点部署就能生成可访问的网页。对于需要快速验证想法的小工具开发特别友好，推荐有类似需求的开发者试试。
