46.人工智能实战：大模型 A/B 实验怎么做？从“感觉新 Prompt 更好”到指标驱动的线上实验平台

人工智能实战：大模型 A/B 实验怎么做？从“感觉新 Prompt 更好”到指标驱动的线上实验平台

---

一、问题场景：新 Prompt 看起来更好，上线后转化率却下降了

大模型系统迭代时，最容易发生一种争论：

这个 Prompt 感觉更自然。 这个模型回答更详细。 这个版本好像更聪明。

问题是：

“感觉更好”不等于线上更好。

我之前参与过一个客服问答系统优化。

旧版本 Prompt 要求：

回答简洁，优先给操作步骤。

新版本 Prompt 改成：

回答更友好，先安抚用户，再给解决方案。

内部测试时大家都觉得新版本更像真人。

但线上小流量实验后发现：

1. 平均回答长度增加 42% 2. 用户完成问题解决的时间变长 3. 二次追问率上升 4. token 成本增加 5. 满意度没有显著提升

也就是说，新 Prompt 表达更好，但业务效果不一定更好。

这篇文章解决的问题