大模型应用预算有限：先优化提示词、检索还是缓存

大模型应用预算有限：先优化提示词、检索还是缓存

预算紧时先把成本归到提示词、检索和缓存各自的链路里，再决定动哪里。没有测试条件的性能数字不构成结论。

先界定问题

大模型应用开发与 Prompt Engineering 是否合适，取决于任务约束。先写清目标任务、可能失败的输入或依赖，以及通过条件，别把演示中的顺利路径当成生产能力。

处理与验证

把规则写成接口契约。把输入字段、输出格式、版本兼容和错误归属写进接口说明；产品、研发和运维各自确认验收条件。

准备覆盖正常请求、空结果、格式错误和依赖超时的样本。每次只调整一个变量，保存配置、样本版本和原始结果；先复现，再判断问题来自数据、配置、实现还是外部依赖。

对比结果应说明环境、并发方式、数据规模、预热和统计口径；缺少这些条件，就不要发布 P95、吞吐或“提升”结论。还要检查异常输入、重试是否放大负载，以及开关和旧路径能否回退。