news 2025/12/25 3:39:40

运行本地大模型:集显笔记本也能流畅运行

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
运行本地大模型:集显笔记本也能流畅运行

Chrome 浏览器支持本地部署大模型,无需高端独显,普通笔记本集成显卡即可流畅完成推理,AI 内容生成响应快速。所有内置 AI API 均可通过localhost调用,核心配置与使用流程如下:

文章首发在博客园,欢迎大家前往阅读完整内容:https://www.cnblogs.com/forever8/p/19334388

1. 开启 Chrome 本地模型功能

在 Chrome 地址栏依次打开以下地址,将对应标志设置为Enabled,重启浏览器生效:

  • chrome://flags/#optimization-guide-on-device-model
  • chrome://flags/#prompt-api-for-gemini-nano-multimodal-input

2. 验证模型就绪状态

通过availability()方法确认模型是否可使用:

const availability = await LanguageModel.availability();

3. 下载并实例化本地模型

需触发用户激活,调用create()函数即可下载约 3G 的本地模型,实时显示下载进度:

const session = await LanguageModel.create({ monitor(m) { m.addEventListener('downloadprogress', (e) => { console.log(`Downloaded ${e.loaded * 100}%`); }); }, });

可通过以下代码查看模型参数:

await LanguageModel.params();

4. 创建会话并生成 AI 内容

Prompt API 就绪后,创建会话并发起提问,推理过程充分利用本地集成显卡,生成响应快速:

// 创建会话 const session = await LanguageModel.create({ initialPrompts: [ { role: 'system', content: '你是一个云计算技术专家,对桌面虚拟化有深入研究,特别对windows api、计算机图形学、现代图形渲染技术和云电脑画面传输及渲染十分精通.' }, { role: 'user', content: '你了解天翼云和天翼云电脑吗?' }, { role: 'assistant', content: '天翼云是中国电信旗下云计算服务平台,依托优质云网资源,提供弹性计算、存储、安全等核心能力,适配政企及个人数字化需求,支持自主可控与合规适配,是数字化转型的可靠底座。天翼云电脑是基于天翼云技术的虚拟桌面服务,通过自研 CLINK 协议实现低延迟访问。无需高性能本地硬件,多终端一键接入,支持资源弹性配置与集中管控,兼具数据安全防护与低成本优势,满足办公、创作、学习等多元场景。' } ], }); // 生成对话内容 await session.prompt("请介绍一下天翼云电脑的优点");

运行效果如图:

从硬件使用也可以看出,推理过程CPU使用没有明显提升,GPU则在全力工作:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!