news 2026/7/2 2:46:07

模型部署记录2

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
模型部署记录2

不要看网上的教程先下torch,tranform这些依赖,直接下vllm就行了,Vllm官方文档也说了:“vLLM 的 wheel 与 PyTorch 是配套编译的,如果你已经安装了其他版本 Torch,可能会产生 ABI(二进制)兼容问题,建议在全新的环境中直接安装 vLLM。”

但是直接下载0.8.x版本的Vllm时也会出错,这个有老哥也踩坑了:vllm启动qwen3出错AttributeError: Qwen2Tokenizer has no attribute all_special_tokens_extended. Did you me_人工智能_大强想进步-AI编程社区

要更换transformers为4.51.1 ~ 5.0.0之间,为了稳妥,推荐一并安装

pip install \
transformers==4.52.4 \
tokenizers==0.21.1

这样就可以正常启动了,经过测试,流式输出支持:curl -N http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
"model":"Qwen2.5-7B-Instruct",
"stream":true,
"messages":[
{
"role":"user",
"content":"请介绍一下你自己。"
}
]
}'

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/2 2:46:01

Subtree Minimum Query

query can be restored as follows: Let last���� be the answer for previous query (or 00 if i1�  1). Then xi((pilast)modn)1��  ((��  �&#x…

作者头像 李华
网站建设 2026/7/2 2:45:06

给阿嬤一封来自云端的信(上)

用 AI 替你写一封给阿嬤的家书。项目本身很简单,但从模型调用、云函数、数据库、静态托管到一键部署,全部基于云开发,AI 工具使用云开发提供的大模型完成。 本文不以功能为重点,而是以工程化思维为线索,拆解一个应用从…

作者头像 李华
网站建设 2026/7/2 2:44:58

我把《易经》做成了AI,发现了沟通的底层规律

我把《易经》做成了AI,发现了沟通的底层规律今天想聊一个有点不一样的话题—— 《易经》和AI,能碰撞出什么? 先别急着划走,这不是一篇讲玄学的文章。 这是一篇关于"沟通"和"系统"的深度思考。一、先说一个观察…

作者头像 李华
网站建设 2026/7/2 2:43:54

AI Agent 时代,决策质量才是企业跑赢同行的真正原因

一个让管理者不舒服的数据麦肯锡对金属与采矿行业过去 20 年的 TSR(股东总回报)做了系统性复盘,结论出人意料:超额回报中,有 30% 到 50% 来自管理层的主动决策,而非商品价格周期。以钢铁为例,生…

作者头像 李华
网站建设 2026/7/2 2:39:38

关于算法优化的渐进式重构与代码级实践的技术7

算法优化的重要性与挑战算法优化在提升性能、降低资源消耗方面的核心价值实际开发中面临的挑战:技术债务、耦合代码、性能瓶颈渐进式重构的基本原则小步快跑:通过迭代降低风险测试驱动:保障重构过程中的功能稳定性性能监控:建立基…

作者头像 李华
网站建设 2026/7/2 2:38:00

孤能子视角:Karpathy LLM Wiki,一个人工观察符自动编织系统

(在以下的与AI互动中,在EIS理论约束下,DeepSeek叫信兄,Kimi叫酷兄,我呢叫水兄。姑且当科幻小说看) 讨论源于文章:【Karpathy又封神,掀翻RAG,把你的笔记变成第二大脑】 https://m.toutiao.com/is/_EjshnuXUC…

作者头像 李华