如何和AI对齐技能意图?Yao Meta Skill的意图对话与置信度门槛实战
【免费下载链接】yao-meta-skillYAO = Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.项目地址: https://gitcode.com/gh_mirrors/ya/yao-meta-skill
用 AI 帮你做重复工作时,最常见的翻车方式是:你以为 AI 懂了,其实它只是猜了个大概。Yao Meta Skill(YAO = Yielding AI Outcomes)是一套面向可复用 Agent 技能的工程、评测、治理与可移植系统,其中"意图对话 + 意图置信度门槛"正是为了解决这个问题:在动手写技能之前,先用一段轻松的对话把真实任务、输入、输出和边界聊清楚,再让系统自动打分——分数不够高就不许开工,直到意图清晰为止。
为什么意图没对齐,后面全会跑偏?
Yao Meta Skill 把"意图对齐"放在整个技能生产流程的最前面(见 SKILL.md 中的 Compact Workflow),原因很直接:
- 📌边界选错,返工代价极高——一开始就把"该拒绝的相似请求"划出去,比事后修便宜得多;
- 📌触发质量取决于"不做什么"——排除清单是提升技能触发精度的最快路径;
- 📌输出先于架构——先确认要交付什么,再决定需要哪些引用、脚本和模板。
方法论完整写在 references/intent-dialogue.md,核心思想一句话:用 5-7 个锋利的问题,而不是一份冗长的调查问卷。
意图对话怎么做:4 个值得记住的原则
对话不是填表。references/intent-dialogue.md 对开场方式有明确要求——先像"坐在旁边的伙伴"一样聊天,而不是冷冰冰的录入员:
- 先让用户用自然语言讲,讲完再帮其提炼结构,而不是上来就甩模板;
- 边界问题问早一点,输出问题问在架构问题之前;
- 一句话说得清就停——当技能能用一句话描述时,对话就该结束;
- 中文对话有三种语气可选:温柔陪伴型(想法模糊时)、专业教练型(目标明确时)、共创伙伴型(想一起打磨时)。
对话结束时,系统应沉淀出这 6 样东西:
一句清晰的能力描述、真实输入清单、必备输出清单、排除清单、参考偏好、一个推荐的评测起点
这套过程在本仓库自己身上就有实例:reports/intent-dialogue.md 记录了 Yao Meta Skill 自身的开场框架、问题清单和最终锚点。
置信度门槛:分数不够,不许开工
光聊清楚还不够,系统还要可验证地判断"清楚没有"。这就是意图置信度门槛(Intent Confidence Gate):
- 打分:对能力描述做置信度评分,0-100 分,并划入 high / medium / low 档位;
- 拦截:
gate_passed为 false 时,推荐动作是"继续澄清",而不是进入技能包制作; - 追问题库:针对 6 类缺口(任务、输入、输出、排除、约束、标准)内置了追问话术,哪个缺口问哪句。
评分逻辑在 scripts/render_intent_confidence.py 中,有个细节很有意思:系统会识别"把重复工作变成可复用技能"这类万能套话(GENERIC_PHRASES)和泛化词(workflow、package、task 等),描述越像模板空话,分越低——逼着意图描述必须具体。
Yao Meta Skill 自己的打分结果可以当范文看(reports/intent-confidence.md):
- 置信度:100/100,档位
high,门槛通过 ✅ - 强信号:重复任务足够具体、输入形态明确、交付输出明确、边界排除已显式声明
- 遗留缺口:无;推荐动作:"意图已足够清晰,可以打包第一个可路由版本。"
对应的机器可读数据在 reports/intent-confidence.json,结构化的意图上下文(任务、输入、输出、排除、约束、标准)则存于 reports/intent-context.json——后者正是触发评测的输入来源之一。
把这套方法搬进你自己的 AI 工作流
即使不装 Yao Meta Skill,这套"先对齐、再动手"的思路也能直接借鉴:
| 步骤 | 做什么 | 卡点 |
|---|---|---|
| 1️⃣ 意图对话 | 问清"重复任务 / 真实输入 / 交付输出 / 明确拒绝什么" | 能一句话说清能力 |
| 2️⃣ 排除边界 | 列出 3-5 个"相似但不该触发"的请求 | 边界显式化 |
| 3️⃣ 置信度自测 | 给意图描述打分,空话套话一律扣分 | 分数达标才开工 |
| 4️⃣ 留档 | 把对话产出存成结构化记录,供后续评测复用 | 可追溯、可回归 |
想深入理解门槛如何选取、与其他质量门(触发评测、输出评测)如何搭配,可以看 references/gate-selection.md;更多示例(如 examples/team-frontend-review/)也展示了从意图到技能包的完整路径。
写在最后
和 AI 对齐技能意图的关键,不是写更长的 prompt,而是先花 5 分钟把"做什么、不做什么、交付什么"聊成白纸黑字,再用一个可打分的门槛拦住含糊其辞。Yao Meta Skill 的意图对话与置信度门槛,把这两步变成了工程化的习惯——意图清晰之前,一切架构都是猜。
【免费下载链接】yao-meta-skillYAO = Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.项目地址: https://gitcode.com/gh_mirrors/ya/yao-meta-skill
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考