Chrome 浏览器支持本地部署大模型,无需高端独显,普通笔记本集成显卡即可流畅完成推理,AI 内容生成响应快速。所有内置 AI API 均可通过localhost调用,核心配置与使用流程如下:
文章首发在博客园,欢迎大家前往阅读完整内容:https://www.cnblogs.com/forever8/p/19334388
1. 开启 Chrome 本地模型功能
在 Chrome 地址栏依次打开以下地址,将对应标志设置为Enabled,重启浏览器生效:
- chrome://flags/#optimization-guide-on-device-model
- chrome://flags/#prompt-api-for-gemini-nano-multimodal-input
2. 验证模型就绪状态
通过availability()方法确认模型是否可使用:
const availability = await LanguageModel.availability();3. 下载并实例化本地模型
需触发用户激活,调用create()函数即可下载约 3G 的本地模型,实时显示下载进度:
const session = await LanguageModel.create({ monitor(m) { m.addEventListener('downloadprogress', (e) => { console.log(`Downloaded ${e.loaded * 100}%`); }); }, });可通过以下代码查看模型参数:
await LanguageModel.params();4. 创建会话并生成 AI 内容
Prompt API 就绪后,创建会话并发起提问,推理过程充分利用本地集成显卡,生成响应快速:
// 创建会话 const session = await LanguageModel.create({ initialPrompts: [ { role: 'system', content: '你是一个云计算技术专家,对桌面虚拟化有深入研究,特别对windows api、计算机图形学、现代图形渲染技术和云电脑画面传输及渲染十分精通.' }, { role: 'user', content: '你了解天翼云和天翼云电脑吗?' }, { role: 'assistant', content: '天翼云是中国电信旗下云计算服务平台,依托优质云网资源,提供弹性计算、存储、安全等核心能力,适配政企及个人数字化需求,支持自主可控与合规适配,是数字化转型的可靠底座。天翼云电脑是基于天翼云技术的虚拟桌面服务,通过自研 CLINK 协议实现低延迟访问。无需高性能本地硬件,多终端一键接入,支持资源弹性配置与集中管控,兼具数据安全防护与低成本优势,满足办公、创作、学习等多元场景。' } ], }); // 生成对话内容 await session.prompt("请介绍一下天翼云电脑的优点");运行效果如图:
从硬件使用也可以看出,推理过程CPU使用没有明显提升,GPU则在全力工作: