news 2026/7/19 16:09:11

SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...

文章主要内容总结

该研究针对大型语言模型(LLMs)在移动和边缘设备部署时面临的模型提取攻击风险,提出了一种混合框架SecureInfer。其核心思路是结合可信执行环境(TEEs,如Intel SGX)的硬件隔离能力与GPU的高性能计算优势,通过威胁感知和信息论驱动的细粒度模型划分,在保障隐私安全的同时避免性能损耗。

具体而言,SecureInfer将LLMs中隐私敏感组件(如Q/K/V投影、注意力分数计算、前馈网络块、LoRA适配器等)部署在SGX安全飞地中执行,而将计算密集但安全性要求较低的线性操作(如矩阵乘法)加密后卸载到GPU,CPU仅负责输入输出等非敏感控制流程。通过分块安全张量执行、轻量级加密、一次性掩码等优化策略,解决了边缘设备内存有限、延迟敏感的问题。

实验基于定制化LLaMA-2模型验证,结果显示:与纯TEE部署相比,SecureInfer实现了最高4.7倍的速度提升;与纯GPU部署相比,仅产生2.06倍的延迟开销,且输出保真度损失极小(BLEU分数下降低于0.12);在黑盒攻击场景中,能有效降低模型提取 fidelity,token匹配率仅为56.4%,为边缘设备上LLMs的安全部署提供了实用解决方案。

文章创新点

  1. 混合架构设计:首次提出TEE-GPU异构协同框架,突破纯TEE性能瓶颈和纯GPU隐私漏洞,实现安全与性能的平衡。
  2. 细粒度威胁感知划分策略:不同于传统基于层深度的粗粒度划分,基于组件敏感性(抗模型提取攻击能力)和计算强度进行精准划分,适配Transformer
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/19 16:08:35

模型推理的请求去重:相同输入在并发窗口内的合并处理

模型推理的请求去重:相同输入在并发窗口内的合并处理 一、100 个用户同时问"今天天气怎么样",你的推理服务做了 100 次一模一样的计算 模型推理和传统的 API 调用有一个本质区别:推理服务的边际成本不是近似为零的。每次推理调用都…

作者头像 李华
网站建设 2026/7/19 16:05:47

双年展幻灯片_html-ppt-zhangzara-biennale-yello

以下为本文档的中文说明 该技能提供一种名为"双年展"的独立HTML演示文稿模板,以太阳黄色为基调,搭配暖色羊皮纸背景、深靛蓝色衬线字体和大气辉光渐变效果。这是一个完整的自包含HTML幻灯片系统,排版、配色、装饰系统和幻灯片词汇表…

作者头像 李华
网站建设 2026/7/19 16:04:50

Remount核心功能解析:从自定义元素到Shadow DOM的完整实现指南

Remount核心功能解析:从自定义元素到Shadow DOM的完整实现指南 【免费下载链接】remount Mount React components to the DOM using custom elements 项目地址: https://gitcode.com/gh_mirrors/re/remount Remount是一个创新的JavaScript库,它让…

作者头像 李华
网站建设 2026/7/19 16:03:53

TMS320F2838x多核启动:IPCBOOTMODE寄存器配置与错误处理全解析

1. 多核启动:从混沌到协同的艺术在嵌入式系统开发里,单核启动已经够让人头疼了,而当你面对像TMS320F2838x这样的多核异构微控制器时,整个启动流程的复杂度直接上了一个新台阶。这不再是简单的“上电、跑代码”,而是一场…

作者头像 李华