news 2026/5/28 15:58:58

从 “对话“ 迈向 “行动“: 利用 FunctionGemma 打造下一代端侧智能体

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从 “对话“ 迈向 “行动“: 利用 FunctionGemma 打造下一代端侧智能体

作者 / 代表 Gemma 和 ODML 团队的产品经理 Kat Black,研究工程师 Ravin Kumar

对于 Gemma 模型系列而言,2025 年是充满变革的一年。我们的下载量已从 1 亿次增长到超过 3 亿次,同时还展现了开放模型的变革潜力: 从凭借 Gemma 3 定义最先进的单加速器性能,到通过 C2S Scale 计划推动癌症研究,皆是最佳佐证。

  • 开放模型的变革性潜力

    https://blog.google/technology/developers/developers-changing-lives-with-gemma-3n/

  • Gemma 3

    https://blog.google/technology/developers/gemma-3/

  • C2S Scale 计划

    https://blog.google/technology/ai/google-gemma-ai-cancer-therapy-discovery/

自 Gemma 3 270M 模型发布以来,我们收到开发者最迫切的需求就是原生函数调用功能。我们认真听取了这一反馈,意识到随着行业从纯粹的对话式交互向主动智能体转变,模型不能仅局限于对话,更需要具备执行能力。这在设备端尤为重要,因为智能体可以自动执行复杂的多步骤工作流程,例如设置提醒或切换系统设置。若要在边缘端实现这一点,模型必须足够轻量级以支持本地运行,同时还要具备足够的专业性以确保可靠性。

  • Gemma 3 270M

    https://developers.googleblog.com/en/introducing-gemma-3-270m/

现在,我们正式推出了 FunctionGemma,这是针对函数调用而特别优化的 Gemma 3 270M 模型版本。它旨在为进一步训练定制化、快速、私密且本地运行的智能体奠定坚实的基础,从而将自然语言翻译成可执行的 API 操作。

FunctionGemma 可以作为完全独立的智能体,处理私密的离线任务,也可以作为大型互联系统的智能分流器。在此模式下,它能够在边缘端即时处理常见指令,同时将更复杂的任务调度至 Gemma 3 27B 等模型进行处理。

FunctionGemma 的独特之处

  • 执行与对话合二为一: FunctionGemma 既能与计算机 "对话",也能与人类交流。它可以生成结构化的函数调用来执行工具,然后切换到相应模式,用自然语言为用户汇总结果。

  • 为定制化而生: FunctionGemma 的设计理念在于按需塑造,而不仅仅是依靠提示驱动。在我们的 "Mobile Actions" 评估中,微调提升了模型的可靠性,将准确率从 58% 的基准线提高到 85%。这证实了对于边缘端智能体而言,经过专门训练的专家模型是实现生产级性能的高效捷径。

  • 专为边缘计算设计: 该模型体积小巧,足以在 NVIDIA Jetson Nano 等边缘设备和手机上运行,FunctionGemma 使用了 Gemma 的 25.6 万词表,能够高效地对 JSON 与多语言输入进行分词处理。这使得它成为在特定领域微调的强大基础,通过缩短序列长度来确保极致的低延迟表现,并确保用户隐私。

  • 广泛的生态系统支持: 该模型可无缝融入整个工作流中常用的工具: 可以使用 Hugging Face Transformers、Unsloth、Keras 或 NVIDIA NeMo 进行微调,并使用 LiteRT-LM、vLLM、MLX、Llama.cpp、Ollama、Vertex AI 或 LM Studio 进行部署。

△ FunctionGemma 在 "Mobile Actions" 数据集上的准确率变化,基于预留评估集上微调前后的对比。

  • NVIDIA Jetson Nano

    https://www.jetson-ai-lab.com/models/functiongemma

  • Hugging Face Transformers

    https://huggingface.co/collections/google/functiongemma

  • Unsloth

    https://docs.unsloth.ai/models/function-gemma

  • NVIDIA NeMo

    https://github.com/NVIDIA-NeMo/Automodel/blob/main/examples/llm_finetune/gemma/functiongemma_xlam.yaml

  • LiteRT-LM

    https://github.com/google-ai-edge/LiteRT-LM/blob/main/README.md

  • MLX

    https://huggingface.co/collections/mlx-community/functiongemma

  • Llama.cpp

    https://huggingface.co/ggml-org/functiongemma-270m-it-GGUF

  • Ollama

    https://ollama.com/library/functiongemma

  • Vertex AI

    https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/functiongemma

  • LM Studio

    https://lmstudio.ai/models/functiongemma

  • 微调

    https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

选择 FunctionGemma 的时机

FunctionGemma 是自然语言与软件执行之间的桥梁。在以下情境,FunctionGemma 是您的不二之选:

  • 您有明确定义的 API 接口范围: 您的应用具备一套既定的功能操作 (例如智能家居、多媒体、导航等)。

  • 您已准备好进行微调: 您需要的是通过对特定数据进行微调所带来的高度一致性与确定性,而不是零样本提示带来的不确定性。

  • 您优先考虑 "本地优先" 的部署方式: 您的应用需要近乎即时的响应延迟与完全的数据隐私保护,并且能够在边缘设备的计算与电池限制下高效运行。

  • 您正在构建复合系统: 您需要一个轻量级的边缘模型来处理本地操作,使您的系统能够在设备端即时处理常见指令,并且仅在遇到更复杂任务时才会调用更大规模的模型 (如 Gemma 3 27B)。

如何体验 FunctionGemma 的实际效果

让我们看看这些模型如何重塑真实的用户体验。您可以通过 Google AI Edge Gallery 应用中的两种不同体验来探索它的能力: 一个互动游戏和一个开发者挑战。

  • Google AI Edge Gallery 应用

    https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery&pcampaignid=web_share

Mobile Actions 微调

这个演示重新构想了助理交互的形式,使其成为完全离线的能力。无论是 "为明天的午餐创建一个日程"、"将 John 添加到我的联系人" 还是 "打开手电筒",该模型都能解析自然语言并识别正确的操作系统工具来执行命令。要解锁这个智能体,您可以使用我们的微调操作手册来构建模型,并将其部署到自己的移动设备上。

  • 微调操作手册

    https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

TinyGarden 游戏演示

在这个互动小游戏中,玩家使用语音指令来经营一块虚拟土地。例如,您可以说 "在最上面一排种向日葵并浇水",模型会将此指令分解为具体的应用函数,比如 "种植作物 (plantCrop)" 或 "给作物浇水 (waterCrop)",并针对特定的网格坐标进行操作。这证明,270M 模型能够在手机上处理多轮逻辑,驱动自定义游戏机制,而无需连接服务器。

FunctionGemma Physics Playground

使用自然语言交互来解决有趣的物理模拟谜题吧!这个游戏完全在您的浏览器中本地运行,由 FunctionGemma 和 Transformers.js 提供支持!

  • 这个游戏完全在您的浏览器中本地运行

    https://huggingface.co/spaces/webml-community/FunctionGemma-Physics-Playground

致谢: @xenovacom (来自 X)

如何立即体验 FunctionGemma

我们正从 "聊天机器人时代" 迈向 "行动时代"。有了 FunctionGemma,这种强大的能力便触手可及。

  • 下载: 前往 Hugging Face 或 Kaggle 获取模型。

  • 学习: 阅读相关指南,了解函数调用模板、如何将模型与函数响应序列化以及微调指南。

  • 探索: 下载新版 Google AI Edge Gallery,体验相关演示。

  • 构建: 通过 Colab Notebook 和配套数据集,使用 Mobile Actions 指南训练您的专属智能体。

  • 部署: 使用 LiteRT-LM 轻松将模型部署到移动设备,或将其接入 Vertex AI 或 NVIDIA RTX PRO、DGX Spark 等设备,与更大的模型搭配使用。

  • Hugging Face

    https://huggingface.co/google/functiongemma-270m-it

  • Kaggle

    https://www.kaggle.com/models/google/functiongemma

  • 相关指南

    https://ai.google.dev/gemma/docs/functiongemma

  • 函数调用模板

    https://ai.google.dev/gemma/docs/functiongemma/formatting-and-best-practices

  • 如何将模型与函数响应序列化

    https://ai.google.dev/gemma/docs/functiongemma/full-function-calling-sequence-with-functiongemma

  • 微调方法

    https://ai.google.dev/gemma/docs/functiongemma/finetuning-with-functiongemma

  • Google AI Edge Gallery

    https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery&pcampaignid=web_share

  • Colab Notebook

    https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

  • 数据集

    https://huggingface.co/datasets/google/mobile-actions

  • 指南

    https://ai.google.dev/gemma/docs/functiongemma/mobile-actions

  • LiteRT-LM

    https://github.com/google-ai-edge/LiteRT-LM

我们迫不及待地想看到,您将如何在设备上开启独特、私密且极致响应的全新体验。也欢迎您持续关注 "谷歌开发者" 微信公众号,及时了解更多开发技术和产品更新等资讯动态。


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/28 6:46:04

RAID配置效率革命:传统vsAI辅助方案对比

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 开发一个RAID配置效率对比工具,功能包括:1) 传统配置流程模拟;2) AI辅助配置流程演示;3) 时间消耗对比统计;4) 配置准确…

作者头像 李华
网站建设 2026/5/21 19:28:22

企业团队统一配置:VS Code中文版标准化部署方案

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 开发一个团队级VS Code中文配置工具,功能包括:1.批量检测团队成员VS Code语言设置 2.自动化推送中文语言包安装 3.统一配置settings.json文件 4.生成部署报…

作者头像 李华
网站建设 2026/5/20 12:10:46

零基础入门:W25Q64使用全攻略

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 创建一个面向初学者的W25Q64教学项目。要求:1. 解释W25Q64的基本特性和引脚功能 2. 提供最简单的SPI连接示意图 3. 实现最基本的读写示例(如LED状态存储) 4. 包含常见问…

作者头像 李华
网站建设 2026/5/21 10:38:37

用GPEN给祖辈老照片做修复,家人看了都感动

用GPEN给祖辈老照片做修复,家人看了都感动 泛黄、划痕、模糊、失焦——这些是老照片最常见也最让人心疼的痕迹。一张1950年代泛着淡黄色调的全家福,爷爷穿着洗得发白的中山装,奶奶鬓角微霜却笑意温婉;一张1970年代的黑白单人照&a…

作者头像 李华
网站建设 2026/5/22 5:29:35

FSMN-VAD常见问题全解,让你少走弯路

FSMN-VAD常见问题全解,让你少走弯路 你有没有遇到过这样的情况?—— 刚把FSMN-VAD镜像部署好,上传一段录音,结果返回“未检测到有效语音段”; 或者麦克风实时检测时,明明说了话,表格却空空如也…

作者头像 李华