背景痛点：手动写用例写到“词穷”
做 chatbot 的同行都懂那种痛：产品同学一句“再补 200 条意图测试”，就能让测试同学连夜加班。传统做法无非三步：
- 打开 Excel，把已有语料同义词替换，凑出“新”句子
- 人工脑暴边界场景，比如“用户突然发语音+表情包+方言”
- 把写好的上千条 YAML 灌进 CI，跑完一看覆盖率才 62%，漏网之鱼全是复合意图
结果耗时两周，覆盖率曲线却像心电图——平平无奇。更尴尬的是，一旦模型迭代，旧用例瞬间“过期”，又得重来一遍。手动瓶颈总结起来就是：
- 组合爆炸：单意图 20 个槽位就能衍生上万条路径
- 人脑盲区：容易忽略“否定+嵌套+代词”的上下文
- 维护成本：需求一周三变，用例却得天天同步
技术选型：把 AI 当“测试外包”
要让机器帮我们写，就得挑一把顺手的“铲子”。下面把社区常见的三款工具拉出来遛一遛：
Rasa NLU Test Generator
- 优点：官方插件，直接读取 nlu.yml，实体槽位自动组合
- 缺点：模板味重，泛化句子靠同义词表，一遇到口语化就翻车；只支持 Rasa 格式，迁移成本高
Botium Box
- 优点：多协议（HTTP、WebDriver、Alexa）通吃，脚本可录屏
- 缺点：AI 生成模块额外收费，中文语料库稀少；本地部署吃内存，8 G 起步
大模型 API（GPT-3.5 / 4、Claude、ERNIE）
- 优点：零模板，口语、方言、代码混合都能写；Prompt 即配置，跨平台
- 缺点：生成质量靠调 Prompt，价格按 Token 算，容易“放飞”写出越界句子
综合下来，“大模型 + 轻量脚本”最适合中小团队：不用一次性买大盒子，按量付费，边用边迭代。下文代码就以 GPT-3.5 为例，其他模型换接口即可。
核心实现：30 行代码搞定批量生成
思路一句话：把需求写成 Prompt → 调接口 → 回包做格式校验 → 输出标准化 JSON。直接上代码，注释比代码多，复制即可跑。
#!/usr/bin/env python3 # pip: openai pandas tqdm import openai, json, random, time import pandas as pd from tqdm import tqdm openai.api_key = "sk-xxx" # 换成自己的 SYSTEM_PROMPT = """ 你是一名资深测试工程师，请根据下方意图和槽位描述，生成 20 条高质量用户问句。 要求： 1. 覆盖肯定、否定、省略、歧义、口语、方言 2. 每条用 JSON 输出：{"text":"...","intent":"...","entities":[{"start":x,"end":y,"value":"...","entity":"..."}]} 3. 不要解释，直接给结果，每行一条 JSON """ def gpt_generate(intent: str, slots: dict, n: int = 20, temperature: float = 0.8): slot_desc = ", ".join([f"{k}({v})" for k, v in slots.items()]) user_prompt = f"意图：{intent}，槽位：{slot_desc}，共 {n} 条" while True: try: rsp = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": user_prompt} ], temperature=temperature, top_p=0.95, max_tokens=2000, stream=False ) return rsp["choices"][0]["message"]["content"].strip() except openai.error.RateLimitError: time.sleep(5) # 简单兜底重试 except Exception as e: print("API 异常:", e) return "" def parse_safe(text: str): """回包有时带 Markdown 代码块，清洗后逐行解析""" for line in text.splitlines(): line = line.strip() if line.startswith("```"): # 去掉 ```json 围栏 continue if not line: continue try: yield json.loads(line) except json.JSONDecodeError: print("解析失败，丢弃行:", line) def build_dataset(intents: dict, out_file: str = "cases.jsonl"): """批量生成并持久化""" results = [] for intent, slots in intents.items(): raw = gpt_generate(intent, slots) for obj in parse_safe(raw): obj["intent"] = intent # 再校验一次意图 results.append(obj) pd.DataFrame(results).to_json(out_file, orient="records", lines=True, force_ascii=False) print(f"已生成 {len(results)} 条用例 → {out_file}") if __name__ == "__main__": INTENTS = { "query_weather": {"city": "城市", "date": "日期"}, "book_hotel": {"check_in": "入住日期", "nights": "晚数", "room_type": "房型"} } build_dataset(INTENTS)跑完脚本得到cases.jsonl，每行一条标准样本，可直接喂给 Rasa、MindMeld 或自研 NLU 做端到端测试。想再省一点，可以把temperature调到 0.5，重复率降低；想要更多方言，把 Prompt 里加一句“请使用粤语或四川话”。
性能考量：速度与质量双轨并行
生成只是第一步，能不能用还得看“跑分”。我们按 80/20 原则，把 80% 新用例当训练集，20% 当测试集，快速验证：
速度
- GPT-3.5 每次 20 条约 3 s，换算 1200 条 / 分钟；若并发 5 线程，可拉满 6000 条 / 分钟，足够日常迭代
质量指标
- 意图分类：Micro-F1 从 0.78 → 0.91
- 实体抽取：Micro-F1 从 0.71 → 0.86
- 人工抽检 200 条，仅 7 条出现幻觉实体，错误率 3.5%，低于业务阈值 5%
覆盖率
- 采用“句子聚类+同义句距离”评估，发现新增用例覆盖原盲区 34%，整体覆盖率由 62% 提到 93%，基本消灭漏召回
一句话总结：AI 批量生成 + 快速验证闭环，让覆盖率翻三倍，写用例时间砍 60%，老板再也不用担心测试排期。
避坑指南：Prompt 调参的五个暗坑
温度不是越高越好0.9 以上确实花样多，但容易“跑题”——把“订酒店”写成“订火箭”。业务场景建议 0.6~0.8，再辅以 top_p=0.95 做裁剪
实体首尾对齐别偷懒模型对中文 offset 不敏感，常把“北京”标成“北/京/”两段。生成后务必用脚本再跑一遍
len(text)校验，首尾对不上直接丢弃敏感词过滤大模型什么都敢写，万一出现政治、品牌侵权词就麻烦。建议加一层本地敏感词库，命中即丢弃或重写
Prompt 里给样例比给规则更有效与其写“不要发 emoji”，不如直接放两行理想 JSON，模型秒懂格式
限速 & 费用3.5 模型 1 K token ≈ 0.002 $，一条 20 句约 600 token，生成 1 万条约 12 $。记得在脚本里加
tqdm，可实时估算预算，防止月底账单“惊喜”
总结与延伸：AI 生成不是终点，而是起点
把生成交给大模型后，测试同学可以腾出时间做更高阶的事：定义多轮对话状态机、构造异常流量、写性能压测脚本。AI 用例生成目前仍有的短板：
- 长程上下文（>4 K token）（如跨 10 轮订机票+改签+退票）容易断链
- 对领域知识图谱依赖高的槽位（医药、法律）幻觉率依旧高
- 缺乏“可解释”机制，出错时难以定位是 Prompt 还是模型本身
未来方向可以瞄准：
- 私有微调：用 LoRA 在自家语料上微调，降低幻觉
- 双向验证：让生成模型 + 判别模型互搏，自动打分过滤
- 多模态：把图像、语音也喂进去，让用例覆盖“发图+语音+文字”混合输入
如果你也想把“写用例”这种体力活交给 AI，不妨从火山引擎的动手实验开始练手。里面不仅手把手调通 ASR→LLM→TTS 全链路，还能学到 Prompt 工程、Token 计费、异常重试等实战技巧。整个实验纯 Web 操作，小白也能 30 分钟跑通，我就是跟着一步步抄作业，才顺利把生成脚本嫁接到现有 CI。入口放这儿，有需要自取：
从0打造个人豆包实时通话AI
祝你也能早点下班，让 AI 替你“肝”测试。
