在大模型生产环境部署中，当单节点拉起 70B 规模（约 140GB 权重）的模型服务时，冷启动阶段的主机物理内存（Host RAM）常驻峰值往往比首 Token 延迟（TTFT）更早触发运维告警。一个采用半精度（FP16/BF16）存储的 7B 模型权重仅占 14GB 显存，但在传统的反序列化加载链路下，宿主机端常驻物理内存（RSS）峰值会迅速飙升至 30GB 左右；一旦扩展至 8 卡并行（TP=8）部署 70B 模型，8 个推理 Worker 进程并发启动时，主机内存瞬间被打爆至 200GB 以上，直接触发 Linux 内核的 OOM Killer 将推理主进程强行杀死。
传统权重加载链路之所以会成为整个系统的内存瓶颈，本质原因在于通用的序列化框架必须在用户态堆区完成完整的对象重建与深拷贝，而未锁页的普通分页内存在驱动底层又会触发强制的中间缓冲中转。要将冷启动期间的主机物理内存常驻量彻底压缩到数十兆字节级别，核心技术路径在于利用内存映射（mmap）在虚拟内存中建立文件投影，配合统一虚拟寻址（UVA）与直接内存访问（DMA），将张量字节流直接以零拷贝方式推送至 GPU 显存。
本文深入剖析大模型权重加载与底层矩阵乘法（GEMM）中的显存瓶颈，通过构建 32MB 单例 Workspace 复用池消除 cuBLASLt 在 Decode 阶段因 Split-K 规约带来的运行时显存碎片；同时基于 Safetensors 物理规范，结合mmap与物理页动态锁定（cudaHostRegister），打通磁盘 Page Cache 直达 GPU 物理显存的高性能数据通路。
