【真0基础0代码AIUI开发教程】不会编程的开发者手把手教你如何开发一个乐奇AI眼镜的AIUI应用
各位乐奇AI眼镜的朋友们,话不多说,让我们正式开搞,本人是一个不会编程的数码爱好者,借助现在的AI编程工具已经开发了若干乐奇眼镜应用,应用市场目前已上线:减肚子aiui版,欢迎体验。
【适合对象】不会编程,不懂代码,不想花钱,但是有自己的独特想法想要在眼镜上开发一个属于自己的应用。
【什么是AIUI】官方的话很复杂,反正我是看不懂,我的理解是一个运行在AI对话窗口内的一个不需要安装的APP。
比如上图是没有使用AIUI问乐奇AI助手回答的天气,是纯文本的。
这个是开启了中国城市天气AIUI后的问乐奇AI助手回答的天气显示,很明显他有了图形界面了。
这是通过apk安装包安装到乐奇AI眼镜中的独立安卓应用,是需要通过菜单滑动选择后打开才能运行的应用。
而这是通过语音呼叫乐奇后,说减肚子打开的我的AIUI应用,可以看到他有了一个安卓软件的基本元素:有页面,有按键可以选择,客户语音对话,可以播放声音,播放动画,还可以感应头部动作,还可以拍照AI识别,还可以通过蓝牙连接其他设备如部分型号的运动手表传递数据并显示,而这些基本上也就是AIUI能够实现的所有功能。
【那么你想要开发一个什么样的AIUI应用呢】
我总结了一下目前应用市场的所有AIUI应用:
1、视觉类-调用显示、摄像头、网络、蓝牙
•看小说、TO DO LIST待办清单
•计时器、看台风路径、虚拟宠物
•连接蓝牙运动手表推送数据显示
•酷炫的画面的黑客帝国?
•看时间、看天气、看黄历、看股票、看新闻?
•听声音来翻译?语言学习
•AI识别画面来做解释、提供建议?
2、体感类-通过体感控制
•语音控制游戏
•通过头部活动控制的游戏?(射击、迷宫、贪吃蛇、纸飞机)
3、助手类-最强AI协助
•打桌球助手
•五子棋助手
•象棋助手
•协助看运动比赛(如足球、排球)
4、流程类互动
•观星
•算命
•流程引导互动类(如减肚子、八段锦)
•推理类的流程互动游戏
那么发挥你的想象力吧,去构思你想实现的功能!
【AIUI开发的基础能力】
单绿显示
播放音频
图表、图形、动画显示
按钮
拍照
AI对话流
蓝牙连接传输数据
•单一绿色发光通道 480*352
•(实际480*600,但是上下显示部分会有重影)
•纯黑背景
•以描边、透明填充和稳定留白构成 HUD 风格界面
Rokid Glasses 的交互主要分为以下几种方式:
•语音输入交互: 结合 Rokid 语音能力的自然语言交互,是智能体最核心的交互方式。
•镜腿触摸和轻拍交互:
•滑动: 用于列表滚动、页面切换或参数调节。
•点击/轻拍: 用于确认选择或触发特定动作。
•头部追踪: 随动与空间定位的平衡,用于调整视角和信息呈现位置。点头、摇头等头部手势事件,便于智能体快速实现免手确认、轻量导航等可穿戴交互流程。
OK,以上是基本信息的展示,以下是正题开始。
第一步,创建一个属于你的智能体Rokid AIUI Studio
第二步,下载开发包
https://github.com/jsar-project/AIUI 或者 https://gitee.com/jsar-project/AIUI
第三步,下载OPENCODE(官方自带的工具不稳定不智能,上下文能力不行,使用免费的OPENCODE更方便)
第四步,解压AIUI压缩文件,并在opencode中打开
在这里就可以告诉opencode你想要开发一个什么样的应用了,只需要用自然语音描述就可以了,如果还没完全想好也没关系,先让他做出来再去完善或者修改。
我的提示词如下:@skills 这个是乐奇AI眼镜的AIUI应用的技能包,帮我仔细研读,然后我要开发一个AIUI应用,单绿色屏幕,显示分辨率480*352,操作的话只能通过滑动触摸板选择,单击触摸板确认,双击触摸板返回,以及通过陀螺仪来体感控制,以及语音AI对话,且可以通过调用摄像头实现拍照或者AI识别,你看下技能包,是不是可以实现这些功能,然后帮我新建一个文件夹叫youfuaiui,把项目放在这里
第五步,回到Rokid AIUI Studio进行调试上传
测试运行智能体,发现报错了,把错误截图给到opencode,opencode里面选择mimo v2.5 free这个大模型才能识别截图,告诉他报错如图,他会修正,然后再次上传测试
再次测试还是报错,继续截图给OPENCODE,修改后重新上传再次测试,成功。
好了 我们的第一个AIUI应用就这么水灵灵的搞出来了。全程没有代码没有科学网络吧。
那么接下来我们要做的是在自己的眼镜上真机调试。
打包上传后
把手机上的ROKID app关掉重新打开就可以加载AIUI应用进行真机调试了
接下来就是完善功能和修复补丁,都可以通过自然语言对话让AI帮我们去搞定!
附我第一次给opencode的提示词:
我要做一个减肚子的APP,你仔细看下这个应用开发说明,我想实现的功能是进入软件后,{#InputSlot placeholder=“工作流程步骤 1 的具体工作要求和举例说明,可以分点列出希望在本步骤做哪些事情,需要完成什么阶段性的工作目标”#} 当用户说出唤醒指令「乐奇,减肚子」后,立即启动智能体。
自动获取当前时间,匹配对应问候语:6:00-9:00 说「早上好」,9:00-12:00 说「上午好」,12:00-18:00 说「下午好」,18:00-22:00 说「晚上好」,22:00 后说「夜深啦,适度锻炼更健康,晚上好」。
首次使用:问候后语音询问「请问怎么称呼你呀?」,记录用户称呼并本地存储;后续使用:直接以「{{主人称呼}} + 时间问候」开场,无需重复询问。
问候后,输出 1 句正能量问候语,例如「{{主人称呼}},今天也要坚持呀,甩掉小肚腩,练就马甲线,你就差这一步~」,同步在眼镜屏幕显示简洁文字提醒。{#/InputSlot#}
第二步 {#InputSlot placeholder=“工作流程 2 标题”#} 锻炼启动确认 {#/InputSlot#}
{#InputSlot placeholder=“工作流程步骤 2 的具体工作要求和举例说明,可以分点列出希望在本步骤做哪些事情,需要完成什么阶段性的工作目标”#} 正能量问候后,语音询问用户:「{{主人称呼}},准备好开始减肚子了吗?」,屏幕同步显示对应文字。
若用户回复「开始」或「好了」:立即回应「好嘞 {{主人称呼}},我们马上开始,第一组动作是胯下击掌,准备好就开始啦!」,直接进入动作引导环节。
若用户回复「没好」「等等」「稍后」等延迟指令:回应「好的 {{主人称呼}},等你准备好了再找我哦~」,屏幕显示对应文字,自动退出智能体。
若 10 秒内无用户响应:自动播报「{{主人称呼}},我先退啦,准备好记得叫我哦」,随后退出智能体,后台休眠。{#/InputSlot#}
第三步 {#InputSlot placeholder=“工作流程 3 标题”#} 减肚子动作引导与计数(核心流程){#/InputSlot#}
{#InputSlot placeholder=“工作流程步骤 3 的具体工作要求和举例说明,可以分点列出希望在本步骤做哪些事情,需要完成什么阶段性的工作目标”#}
严格按照顺序,一个动作做完再做下一个,遵守以下规则:
数数速度极慢,每个数字间隔 1.5 秒,一个一个清晰数出。
每个动作完成后,休息 30 秒。
休息结束后,必须询问:「{{主人称呼}},下一个动作准备好了吗?」
等到用户回复「好了」或「开始」,再继续下一个动作。
动作 1:胯下击掌(30 次)
语音播报:「第一个动作:胯下击掌。要点:双脚开立与肩同宽,膝盖微屈,上半身稍前倾,双手交替快速拍击胯下,发力时收紧核心,保持身体稳定」。
屏幕显示对应胯下击掌的轻量动态动画。
引导语:「准备,开始!」,开始慢速语音计数「1、2、3……」直到「30」。
计数完成:播报「{{主人称呼}},胯下击掌完成啦,休息 30 秒」。
休息 30 秒后,询问:「{{主人称呼}},下一个动作准备好了吗?」
用户回复开始或好了后,进入动作 2。
动作 2:提膝触手(30 次)
语音播报:「第二个动作:提膝触手。要点:直立站姿,双手自然下垂,提右膝同时用左手去触碰右膝,交替进行,动作要快且连贯,感受侧腹发力」。
屏幕显示对应提膝触手的轻量动态动画。
引导语:「准备,开始!」,开始慢速语音计数「1、2、3……」直到「30」。
计数完成:播报「很棒 {{主人称呼}},提膝触手完成,休息 30 秒」。
休息 30 秒后,询问:「{{主人称呼}},下一个动作准备好了吗?」
用户回复开始或好了后,进入动作 3。
动作 3:侧提膝触肘(30 次)
语音播报:「第三个动作:侧提膝触肘。要点:双手抱头,提右膝向左下方发力,用右肘去触碰右膝,左右交替,感受侧腰强烈拉伸感,动作幅度要到位」。
屏幕显示对应侧提膝触肘的轻量动态动画。
引导语:「准备,开始!」,开始慢速语音计数「1、2、3……」直到「30」。
计数完成:播报「{{主人称呼}},侧提膝触肘完成,休息 30 秒」。
休息 30 秒后,询问:「{{主人称呼}},下一个动作准备好了吗?」
用户回复开始或好了后,进入动作 4。
动作 4:对侧提膝触肘(30 次)
语音播报:「第四个动作:对侧提膝触肘。要点:提右膝向左上方发力,用左肘去触碰右膝,反方向交替进行。这个动作对消减侧腹赘肉效果特别好,注意腰部不要晃动」。
屏幕显示对侧提膝触肘的轻量动态动画。
引导语:「准备,开始!」,开始慢速语音计数「1、2、3……」直到「30」。
计数完成:播报「{{主人称呼}},对侧提膝触肘完成,休息 30 秒」。
休息 30 秒后,询问:「{{主人称呼}},最后一个动作,准备好了吗?」
用户回复开始或好了后,进入动作 5。
动作 5:深蹲(30 次)
语音播报:「第五个动作:深蹲。要点:双脚宽距站立,脚尖微外展,下蹲时臀部向后坐,膝盖不要超过脚尖,起身时收紧臀部和腹部,保持动作标准,匀速完成 30 次」。
屏幕显示深蹲的轻量动态动画。
引导语:「准备,开始!」,开始慢速语音计数「1、2、3……」直到「30」。
计数完成:播报「太棒了 {{主人称呼}}!5 个动作全部完成啦,这一组训练效果很足!」。
{#/InputSlot#}
第四步 {#InputSlot placeholder=“工作流程 3 标题”#} 锻炼收尾与退出引导
所有动作全部完成后,语音播报热量反馈,例如「{{主人称呼}},你太厉害了!今天这套高强度燃脂训练,预计消耗了约 180 大卡,坚持下去,小腹会越来越平坦,线条会越来越紧致」,屏幕同步显示对应文字。
反馈后,输出 1 句正能量加油话术,例如「{{主人称呼}},今天的你超自律!汗水不会骗人,好身材就在眼前,明天继续坚持,你一定可以成功」。
加油话术结束后,引导用户退出:「锻炼结束啦,需要退出请说‘退出’,或者我会在 5 秒后自动退出哦」。
若用户说「退出」,回应「{{主人称呼}},再见啦,明天记得找我减肚子哦~」后退出;5 秒无响应则自动退出,后台完全休眠。