乐鑫科技 (688018.SH) 宣布与Bosch Sensortec（博世传感器）达成合作，共同推出基于动作感知与大模型能力的人机交互创新方案。该方案旨在推动多模态感知与智能交互技术的深度融合，覆盖 AI 玩具、智能家居、运动健康、智慧办公等典型应用场景，实现从环境感知、行为理解到智能反馈的完整链路升级，为新一代智能终端提供更自然、更实时的交互体验。
在合作签约仪式上，乐鑫创始人兼 CEO 张瑞安、Bosch Sensortec 总经理兼首席执行官 Stefan Finkbeiner 以及 Bosch Sensortec 亚太区总裁王宏宇等共同出席，正式宣布双方合作的启动。
张瑞安在仪式上表示：“通过将 Bosch Sensortec 经验证的高性能 MEMS 传感器集成到我们的平台中，我们能够帮助客户为几乎任何应用场景构建稳健、精准的传感解决方案，并在基础层面保证卓越品质。”
Stefan Finkbeiner 随后补充道：“通过与乐鑫科技的合作，我们正在让先进的传感技术更易于获取和使用。乐鑫在生态体系建设方面给予的支持，对推动传感器在各类消费应用中的广泛采用，以及塑造下一代物联网解决方案具有重要价值。”
在此次联合方案中，博世提供多类型高性能 MEMS 传感器及算法优化能力，用于精准获取微动作、姿态与环境变化等多维数据；乐鑫以双频 Wi-Fi 6 物联网芯片 ESP32-C5 作为核心主控，通过稳定的无线连接、实时的数据处理能力以及对 MCP 协议的原生支持，实现感知数据的本地解析与大模型联动，使系统在端侧具备即时理解与响应能力。
这一方案不仅融合了双方的核心技术能力，也在系统架构、数据链路与交互体验层面进行了深度协同。无论是动作识别、场景感知，还是智能响应，均经过体系化整合，使设备能够更准确地理解用户意图。同时，该方案提供标准化的软硬件基础能力，大幅降低开发与验证的复杂度，缩短创新产品的落地周期，助力开发者更高效地构建下一代智能应用。
从感知到应用场景
搭载 ESP32-C5 与 BMI270 传感器的系统，不仅能捕捉手势与姿态变化，还能结合大模型与 MCP 满足更深层次的用户需求。BMI270 内置算法，可独立完成画圈、摇晃、单击、多击、旋转角度等手势动作识别；即使主控处于低功耗休眠，BMI270也能持续感知环境，并在检测到动作时即时唤醒系统，实现快速响应。
智能家居
乐鑫将同步推出 Home Assistant 的原生插件以及对应的 ESP32-C5 开源固件，可以将设备快速绑定在 Home Assistant 开源智能家居平台。通过该插件，设备能够被自动发现，并实现传感器数据上报与行为控制。所有状态、动作都统一接入 Home Assistant 的自动化体系，使设备不再局限于单一用途：它既可以作为门窗传感器参与场景联动，也可以成为无线调光器控制照明，甚至能够充当语音中控，轻松接入整个智能家居系统。
在光环境调节场景中，用户无需寻找开关，只需轻轻转腕或敲击桌面，传感器即可完成动作识别；ESP32-C5 随即解析用户意图，通过 MCP 调度 Home Assistant 的设备与服务，自动调整灯光亮度与色温，让空间自然贴合用户需求。
办公助手
除了家居场景，ESP32-C5 接入 MCP 的能力同样让办公环境更智能、更贴心。设备可放置在桌面，持续感知敲击与手势等微动作，并在本地快速解析用户意图 ，通过 MCP 将这些动作直接转化为对各类智能设备与服务的调度——例如规划行程，会议提醒，或提前准备会议所需的设备或应用等。
无论是语音指令，还是动作触发的提醒，ESP32-C5 都能即时解析，并由 MCP 直接驱动关联设备和服务，在不打断工作节奏的前提下提升专注与效率。
运动感知
在运动场景中，借助 IMU，设备能够在本地完成精准的动作计数与姿态判断。当用户完成一组训练时，大模型能够根据当前训练状态给出反馈或姿态建议，并生成后续训练计划。通过语音、灯光等多模态方式自然呈现，使设备从单纯的计数器升级为理解训练节奏的智能伙伴。
这种结合不仅展示了动作感知的精准，更凸显了 ESP32-C5 对接大模型的核心价值：通过本地理解与智能联动，让运动场景下的交互变得更自然、更实时，也更具个性化。
AI 互动玩具
动作感知与意图理解的能力，同样可以赋能互动玩具，让原本静态的产品具备实时感知与智能回应能力。例如，当玩具静置于沙发上时，用户坐下或放置物品产生的轻微震动会被内置 IMU 捕捉，它可以立即做出回应；抚摸玩具时，大模型结合动作强度生成个性化的反馈；当玩具被抱起时，设备进一步推断动作意图，驱动多维反馈与环境协同，实现“感知—理解—回应”的完整闭环。
本地训练
ESP32-C5 还能把“互动”延伸到用户自定义层面。通过 IMU，设备不仅支持预置动作识别，也可采集用户特定的手势作为训练样本，并通过 microTensorFlow 进行小模型训练，直接部署在 ESP32-C5 本地。
设备可实时识别用户的自定义动作，去触发特定的控制与联动。任意动作都可以被用户重新定义成“指令语言”。这种从“动作被读取”到“动作被定义”的能力，让基于 ESP32-C5 的设备具备更高的可塑性，解锁更丰富的创意交互场景。
硬件方案
乐鑫联合博世共同推出了两套可以直接上手的开发方案：
量产在售硬件：ESP-SensairShuttle
ESP-SensairShuttle 面向教育与大规模开发评估，采用模块化传感器架构，支持环境、动作、磁力等多类型感知组合，便于教学、算法评估和多场景实验。主板基于 ESP32-C5，搭配可替换的 Shuttle 传感器子板与显示屏自由扩展功能，支持环境、动作、磁力等多类型传感组合。平台内置开箱即用的固件，可直接查看传感器数据或运行博世提供的传感器算法；也可以基于 ESP-IDF 完成深度定制。无论是空气质量监测、手势识别，还是方向与磁力感知，Shuttle 都提供标准化接口与即插即用的硬件资源，是教学、研发与产品原型验证的理想平台。
ESP-SensairShuttle 现已开放预售！如果您对该产品感兴趣，欢迎联系我们的客户支持团队，获取更多产品信息。
开源硬件：ESP-SPOT
ESP-Spot 面向开发者和创客，可快速验证动作感知与智能交互逻辑，开箱即可跑通挥手、旋转、AI 玩具等交互案例。主控采用 ESP32-C5，配合博世 BMI270 IMU，实现低功耗动作捕捉与即触即醒的交互能力。项目提供完整的硬件设计、固件源码与使用文档，开发者无需从零搭建系统，就能基于现成平台快速实现挥手开灯、旋转调节、AI 玩具互动等多种场景。对于想要构建中控设备、AI 玩具或教学项目的开发者来说，ESP-Spot 是一套可立即上手的成品级基础平台。
