kvcached快速入门：10分钟搭建弹性KV缓存系统

kvcached快速入门：10分钟搭建弹性KV缓存系统

【免费下载链接】kvcachedVirtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond项目地址: https://gitcode.com/gh_mirrors/kv/kvcached

kvcached是一款基于虚拟化技术的弹性KV缓存系统，专为动态GPU共享设计。它允许多个模型在同一GPU上高效共存，通过智能管理KV缓存资源，显著提升GPU利用率并降低部署成本。无论是AI研究者还是企业开发者，都能通过kvcached轻松实现多模型并发服务。

🚀 为什么选择kvcached？

在大语言模型部署过程中，GPU内存往往成为瓶颈。传统方案要么只能运行单个模型，要么需要复杂的显存分配策略。kvcached通过以下核心优势解决这些痛点：

• 弹性资源分配：动态调整KV缓存大小，根据实际需求分配GPU资源
• 多模型共存：支持vLLM和SGLang等主流推理引擎的混合部署
• 低开销：高效的内存管理机制，几乎不增加额外性能损耗
• 易于集成：通过环境变量即可启用，无需大规模修改现有代码

图：kvcached运行时的GPU内存监控界面，显示多模型共存时的资源使用情况

⚡ 快速安装步骤

1. 克隆项目仓库

git clone https://gitcode.com/gh_mirrors/kv/kvcached cd kvcached

2. 安装依赖

pip install -r requirements.txt

3. 集成到推理引擎

kvcached支持主流的LLM推理引擎，目前已验证兼容vLLM和SGLang。以vLLM为例，只需设置环境变量即可自动集成：

export ENABLE_KVCACHED=true export KVCACHED_AUTOPATCH=1

🔧 配置与启动

单模型基础配置

对于vLLM引擎，启动命令如下：

export VLLM_USE_V1=1 export VLLM_ATTENTION_BACKEND=FLASH_ATTN vllm serve "meta-llama/Llama-3.2-1B-Instruct" \ --no-enable-prefix-caching \ --port 12346

对于SGLang引擎，使用以下命令：

python3 -m sglang.launch_server --model "meta-llama/Llama-3.2-1B-Instruct" \ --disable-radix-cache \ --trust-remote-code \ --port 12346

多模型并发部署

kvcached最强大的功能是支持多模型在同一GPU上并发运行。项目提供了便捷的脚本简化这一过程：

bash examples/01_simple_two_models/start_two_models.sh \ --engine-a vllm --engine-b vllm \ --model-a meta-llama/Llama-3.2-1B-Instruct --port-a 12346 \ --model-b Qwen/Qwen3-0.6B --port-b 12347 \ --venv-vllm-path ${VENV_PATH}

图：kvcached多模型并发运行的实时演示，展示两个不同模型共享GPU资源

📝 测试与验证

启动模型服务后，可以使用提供的脚本发送测试请求：

bash examples/01_simple_two_models/send_requests.sh --port-a 12346 --port-b 12347

或者使用curl直接发送请求：

export PORT=12346 export MODEL="meta-llama/Llama-3.2-1B-Instruct" export PROMPT="Explain how LLM works." curl -s -X POST http://127.0.0.1:${PORT}/v1/completions \ -H "Content-Type: application/json" \ --data-binary @<(printf '{"model":"%s","prompt":"%s","max_tokens":128,"top_p":1,"seed":0}' "$MODEL" "$PROMPT")

📚 进阶使用与资源

内存监控工具

kvcached提供了kvtop工具监控内存使用情况：

python -m kvcached.cli.kvtop

更多示例

项目提供了丰富的示例，帮助你探索kvcached的各种功能：

• 内存控制：examples/02_memory_control/
• 模型路由与休眠：examples/03_model_router_sleep/
• 推理与微调共存：examples/04_inference_and_finetune/
• 多智能体系统：examples/05_multi_agents/

🤝 总结

通过本指南，你已经了解了如何在10分钟内搭建一个弹性KV缓存系统。kvcached通过创新的虚拟化技术，打破了传统GPU内存管理的限制，让多模型并发服务变得简单高效。无论是研究环境还是生产部署，kvcached都能帮助你充分利用GPU资源，降低成本并提高系统弹性。

立即尝试kvcached，开启你的高效GPU资源管理之旅！

【免费下载链接】kvcachedVirtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond项目地址: https://gitcode.com/gh_mirrors/kv/kvcached