081、开源模型部署：Ollama与vLLM
半夜两点，群里有人丢过来一条报错：Ollama 0.1.29加载Qwen2.5:7B，显存 12G，跑起来直接 OOM，还附带一句“是不是 Ollama 吃显存太狠了”。我第一反应不是去查显存，而是问他num_ctx设了多少。他回：默认。这就是问题的一半。Ollama 默认上下文长度是 2048，但很多人不知道的是，当你用ollama run或者 API 请求时不显式指定num_ctx，Ollama 在底层构建 KV Cache 时会按模型配置里的上下文来预分配显存，而 Qwen2.5 的模型配置里写了 32768，于是你的 12G 显存还没开始生成第一个 token 就已经被预分配吃光了。这个坑我在给客户调私有化部署时踩过不止一次，所以今天这篇笔记就从这里开始，聊聊 Ollama 和 vLLM 这两套主流开源部署方案到底该怎么选、怎么调、怎么避开那些让你凌晨三点怀疑人生的坑。
先把 Ollama 的“隐形显存”搞清楚
Ollama 的设计哲学是“开箱即用”，但“开箱即用”在推理场景里往往意味着“默认参数替你做了决定，而默认值不一定适合你的硬件”。上面说的num_ctx只是其中之一。另一个典型是Ollama的并发请求处理：默认OLLAMA_NUM_PARALLEL是 1，但如果你用 API 同时发多个请求，Ollama 会尝试为每个请求分
