news 2026/7/15 0:43:55

Debug:mlx-omni-server服务器用qwen3模型出错

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:
最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。
调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。
LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/26 7:31:59

JavaScript Date 语法要过时了!以后用这个替代!

1. 前言作为一名前端开发工程师,你一定被 JavaScript 的日期处理折磨过。这不是你的问题,是 JavaScript 自己的问题——它的 Date 功能真的很糟糕。2. Date 的离谱行为让我给你举几个例子,你就明白有多离谱了:月份从 0 开始计数&a…

作者头像 李华
网站建设 2026/7/10 16:04:21

Vue Vben Admin 登录页修改全攻略:从登录界面定制到接口对接全流程配置

Vue Vben Admin 登录页修改全攻略:从登录界面定制到接口对接全流程配置 前言 Vue Vben Admin 是一个功能强大的 Vue3 + TypeScript 后台管理系统模板,但对于很多开发者来说,如何改造登录页并将其对接到自己的后端系统是一个常见的需求。本文将结合实际仓库代码,详细介绍如…

作者头像 李华
网站建设 2026/7/2 5:57:24

【心率检测】 心电信号(ECG)处理从原始 ECG 数据中提取 R 波峰值、计算心率(HR)与心率变异性(HRV)Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。 🍎 往期回顾关注个人主页:Matlab科研工作室 👇 关注我领取海量matlab电子书和数学建模资料 &#x1…

作者头像 李华
网站建设 2026/7/1 8:15:42

宏智树 AI:降重去 AIGC 的 “学术合规密码”,论文优化避坑科普

作为专注论文写作科普的博主,后台高频求助集中在两个核心痛点:“查重率反复超标,越改逻辑越乱”“AI 辅助写作后,机器痕迹被导师一眼看穿”。在知网、维普等查重系统算法升级,AIGC 检测工具普及的当下,简单…

作者头像 李华
网站建设 2026/6/29 20:07:04

【收藏必备】LangGraph从入门到精通(一):概念全解析,构建有状态智能体的必学框架

文章全面介绍LangGraph这一基于图计算的有状态Agent框架,从基础架构、环境配置、持久化机制、Human-in-the-loop功能到长期记忆应用、工具集成、子图设计和多智能体系统构建进行系统讲解。通过深入解析核心概念与实战应用,帮助开发者掌握LangGraph的关键…

作者头像 李华