这两年因为工作需要，我陆陆续续接触了一批号称"AI 投研工具"的产品，也亲手搭过好几套。圈子里最常见的一种攀比方式，就是看谁家接入了多少个大模型——今天说多了个新版本，明天说换了个更强的底座，好像模型参数越大、数量越多，工具就越聪明。但我越来越觉得，AI 投研工具真正的竞争力，可能并不是用了多少模型。模型只是发动机，真正决定这辆车能不能把用户送到目的地的，是变速箱、悬挂、地图数据和驾驶员的那套判断逻辑。这个想法一开始只是模糊的直觉，直到我们自己把一套工具从"堆模型"改成"堆流程"之后，数据才把直觉变成了结论。
1. 模型堆得越多，工具越好？被忽略的同质化陷阱
1.1 基座模型的能力差距正在快速收敛
前两年做大模型选型，大家还会认真对比不同模型的得分，从常识问答到代码生成，每一项都要跑几十道题。到了现在，你要是把那些主流模型放在通用任务上盲测，普通用户几乎感觉不到明显差别。原因很简单：基座模型的训练数据、对齐方式、评测标准都高度趋同，头部模型之间的能力差距已经从"代差"缩小到"版本号差"。这意味着，你接入了十家模型，并不等于拥有了十种不同的智力，更多时候只是同一个智力水平的不同排队入口。
投研场景更特殊。这里真正高频使用的模型能力，不是写诗、不是编代码，而是文本抽取、信息概括、事件判断、数值对比这几类偏"基本功"的能力。这些能力在任何一个中等偏上的模型上都做得不错，换一个更强的模型，提升幅度可能只有 3% 到 5%，但换来的是更高的调用成本、更长的响应延迟，以及更多需要维护的兼容逻辑。我们在一次内部测试中发现，同一个投研问题分别问五个模型，有三个的回答在核心结论上完全一致，剩下两个的差异更多是措辞风格，而不是判断质量。
1.2 多模型调用暴露的不只是成本问题
多模型调用还会带来一个更隐蔽的问题：输出格式的不稳定。不同模型对同一份财报摘要的格式习惯完全不同，有的喜欢用列表，有的喜欢用表格，有的喜欢一大段叙述。为了给用户一个统一的界面，你的工程团队不得不在外面套一层又一层的后处理逻辑，把各种输出强行规整成同一种结构。结果就是，你的工具把大量算力花在了"翻译模型的输出风格"上，而不是花在提升内容的准确性上。
我见过一个最典型的情况：产品经理提出"用户可以自己选择模型"，开发团队就去接了三四个底座，结果用户根本感知不到哪个模型更好，反而因为不同模型的回答风格差异太大，产生了"工具不稳定"的负面印象。这就像打车软件让你每次上车前先选发动机品牌——用户关心的是能不能又快又稳地到达目的地，而不是发动机是谁家造的。
1.3 "模型繁忙"是压垮体验的最后一根稻草
市面上还有个被反复吐槽的现象，就是接入的模型一多，总有某个模型处于"繁忙"状态。尤其在一些高峰期，公共接口的排队时间动辄几十秒，"模型繁忙，请稍后重试"这句话几乎成了某些工具的日常。用户要的是一个能快速给出投研线索的助手，结果先被抢票式的排队折腾一遍，这时候模型的智商再高，体验也已经崩了。
从工程角度看，多模型方案还会成倍增加故障点。单个模型接口升级、限流、返回异常，都需要单独的监控和降级策略。你以为"多挂几个模型更稳"，实际上"多挂几个模型"只是把单点故障换成了多点故障。真正稳的方案，往往是明确主模型、备模型和离线兜底方案，而不是把所有模型都摆在用户前面任选。
2. 投研工具真正的竞争力：数据权力、评估闭环和"最后一公里"
2.1 数据的权力比模型的权力更稀缺
做投研的人都知道一句话：得数据者得先机。同样的财报数据，谁先拿到结构化字段，谁就能快人一步；同样的舆情，谁能第一时间判断出"这条消息对哪些公司的哪些业务有实质影响"，谁就掌握了信息差。模型是公开的，算法也是公开的，但数据不是。你愿意花多少精力去接入交易所数据、公告原文、产业链上下游信息，构建一套自己的数据管道和数据质量体系，这才是别人短期抄不走的东西。
这里说的数据不只是"有多少GB"，而是数据的干净程度和关联程度。我们处理招股书的时候，最头疼的不是找不到 PDF，而是同一份 PDF 里表格、正文、脚注混在一起，直接喂给大模型，页码一换位置，抽取结果就飘。后来我们把 PDF 结构化拆成"段落块 + 表格块 + 脚注块"，每个块单独打上位置元数据，再喂给模型做抽取，准确率才稳定下来。这个过程中模型几乎没有换，变的只是数据到达模型之前的那段路。
2.2 评估闭环：用决策质量反向约束技术选型
很多工具团队做评测，靠的是"人工看几个案例，觉得回答得挺专业"就上线。这种评估方式最大的问题，是没有把工具是否真的辅助用户做出了更好的投研决策作为核心指标。模型回答得像专业人士，和它能不能真正提升用户的决策质量，是两件事。
我们后来建立了一套偏"决策导向"的评估闭环。大致分三个维度：事件命中率、证据完整度、人工复核率。事件命中率指的是工具能否从一堆信息中识别出真正影响股价基本面的关键事件；证据完整度指的是回答里是否列出了可回溯的原文出处；人工复核率则是用户在使用工具时，有多少次需要回头去检查原始资料。这三个指标相互制约，共同决定了一个工具是真有用还是假聪明。
2.3 "最后一公里"：从生成答案到提供可执行依据
大模型天然是一个"自信的生成器"，但你拿到一份 AI 投研工具给的分析报告时，最害怕的是什么？是它说得头头是道，但你找不到任何出处来验证。投研这个领域，用户要有自己的判断，不能只靠模型的一个结论。所以真正的竞争力，在于工具能不能把生成的内容改造成"带着证据链的结论"。
我们把这个思路叫"可追溯输出"。任何一句关键判断，后面都要跟最小单位的证据片断——比如某月某日的某条公告原文、某个数据的原始来源、某个指标的计算口径。哪怕用户不点开看，这个结构也会倒逼模型在生成时更谨慎，因为它不能凭空编造一个没有出处的数字。做到这一点，模型的替换压力反而小了——重要的已经不是"谁在说"，而是"说的每一句有没有着落"。
3. 我们的一次复盘：把"能聊模型的工具"改成"能下结论的引擎"
3.1 起点的困境：六个模型换不来日活增长
去年年中，我们团队接手了一款 AI 投研助手的内测版。当时最大的卖点是"内置六个大模型，任你切换"。听起来很豪华，结果内测用户的反馈却非常扎心：用户觉得它像是一个"只会聊天的百度百科"。你问它"某公司最近的业绩怎么样"，它能给你一段流畅的摘要；但你再问"这份业绩预告里，哪些数字和上一期有重大偏离，偏离的原因是什么，风险点在哪里"，它就只会把原文重新啰嗦一遍。
那段时间我一直在想，问题出在哪。后来拉出调用日志才发现，用户每一次提问，工具都是把问题直接丢给模型，模型再把上下文里的文档一骨碌吞进去，吐出一段总结。整个过程没有一个专门的"投研逻辑层"去理解用户到底要完成什么任务。换句话说，我们只是在模型前面加了一个聊天框，却没有给模型配一套投研工作台。
3.2 改变：把投研任务拆成细粒度的专用引擎
痛定思痛，我们把产品彻底重构了一遍。核心思路是：不再问"用哪个模型回答用户"，而是问"用户在完成哪个投研任务，这个任务需要哪些步骤"。
当时我们梳理了高频场景，先做了四类引擎：
- 业绩预告事件引擎：自动抽取预告里的营收区间、净利润区间、同比增速、环比变化，并和上一期数据对比，标注偏离阈值超过 20% 的字段。
- 舆情事件抽取引擎：从新闻标题和正文中抽取"主体公司、事件类型、影响标的、事件时间"，过滤掉无关的泛财经资讯。
- 观点冲突检测引擎：把多家券商研报对同一公司的评级、目标价、核心逻辑抽取出来，找出互相矛盾的点，生成冲突清单。
- 估值触发器：基于用户自选的估值指标，监控最新公告数据，触发阈值时推送预警。
每个引擎都有自己独立的提示词模板和后处理规则，但底层用的模型可以是一个共享底座。你会发现，一旦任务被拆到这么细，模型的重要性就开始下降。真正决定输出质量的是：每个字段的定义、抽取的规则、比对的标准、异常的判定阈值。这些才是我们投入最多精力打磨的地方。
3.3 重构之后：三个关键数据的变化
重构后的效果，我们没有吹嘘，用三个数据说话。第一，事件命中率从之前的 58% 提升到 86%，核心事件的漏报明显减少；第二，回答中附带原文出处的比例从不足 20% 提升到 71%，用户终于敢拿工具的输出去复核原始资料了；第三，用户平均复核时长下降了 40%，原因是证据链结构清晰，不需要重新读一遍全文才能找到依据。
最明显的变化是，用户不再问"你接了几个模型"了。他们开始问"这个数据的口径是什么""这个异常提示的逻辑是什么""能不能把两个事件关联起来看"。这说明用户的注意力已经从"模型本身"转移到"工具的投研方法论"上面了，而这恰恰是我们想要的方向。
4. 一套可落地的 AI 投研工具评测方法：不看参数，看交付
4.1 三层评测框架：模型层、工具层、交付层
要给 AI 投研工具打分，我建议把评测拆成三个层次，每一层关注的问题完全不同。
| 评测层次 | 关注点 | 典型指标 |
|---|---|---|
| 模型层 | 单模型的能力下限 | 抽取准确率、格式稳定性、延迟 |
| 工具层 | 流程和规则的完整度 | 字段覆盖率、规则命中率、异常识别率 |
| 交付层 | 用户决策支持效果 | 证据完整度、人工复核率、可执行动作数 |
模型层的测试是最基础的，但也是最容易误导人的。一个模型在"抽取财报营收"这种任务上得了高分，不代表它在工具里一定能用，因为工具层还有字段映射、单位换算、时间对齐等一堆环节。我们见过一个模型单独测试准确率很高，但当它连续处理 100 份财报时，有 7 份把"上年同期"和"报告期"搞混了，这种错误在单条测试里根本暴露不出来。
4.2 构造"黄金案例集"：给工具交一份标准答卷
评测不能靠拍脑袋看感觉，必须有一组固定的黄金案例集。我们的做法是：挑 20 个真实投研场景，每个场景事先由研究员人工写好标准答案，再让工具照着跑。这 20 个场景要覆盖业绩预告、突发新闻、监管处罚、行业政策、机构调研等不同类型，并且要刻意加入一些有陷阱的样本，比如"公告标题是利好但正文实际是利空"。
下面是一个简化的黄金案例模板，用来约束工具的输出结构，也方便我们做自动化校验：
{ "scenario_id": "FY-2024-001", "query": "根据2024年三季报预告，判断XX公司业绩环比变化方向", "expected": { "conclusion": "净利润环比下降约15%", "confidence": "medium", "evidence": [ { "source": "2024-10-15业绩预告", "quote": "预计归属于上市公司股东的净利润为1.27亿元至1.52亿元" }, { "source": "2024-07-10半年报", "quote": "归属于上市公司股东的净利润为1.81亿元" } ] } }工具只要输出类似的 JSON 结构，我们就能用脚本把结论、置信度、证据和标准答案逐一比对。如果你的工具连这种规范化的输出都做不到，那它的投研价值就要打个大问号。
4.3 三个被低估的评测细节
第一个细节是"置信度校准"。很多工具输出的置信度完全不可用——模型觉得 90% 把握的判断，实际一验证只有 60% 准确。投研场景里，置信度虚高比低更危险，因为它会诱导用户做激进操作。我们后来要求所有结论必须给出一个保守的置信度，并且用历史命中率去反向修正它。
第二个细节是"负面案例的覆盖"。大多数团队做评测只挑那些模型回答得好的案例，比如正面业绩预增、简单的个股问答。真正能暴露工具弱点的，是那些模型容易犯错的负面案例：跨期数据对比、同音不同名的公司、数字单位混用。我的建议是，黄金案例集里负面案例至少要占四成。
第三个细节是"反复回归"。模型只要升级过一次，输出风格和边界行为就可能会变。同一个提示词，上个月的输出结构和这个月可能完全不同。所以评测不能只在选型的时候做一次，每次底座模型变更后都要全部重跑一遍黄金案例集。我们踩过这个坑，某次升级后突然有大量回答不再附带来源链接，用户侧反馈"工具能不能用全靠模型自觉"，排查了两天才发现是模型对提示词里"必须输出 citation"这句话的理解出现了漂移。
5. 长期主义者避开的几个坑
5.1 "变快"不等于"变准"，效率提升不等于收益提升
做 AI 投研工具最容易被一个指标绑架，就是用户处理信息的时长。把原来需要两小时的财报阅读时间缩短到五分钟，这个提升很直观，也容易在演示的时候让人眼前一亮。但冷静想想，读得快和读得准是两回事。一个工具如果只是把财报摘要压缩得更短，用户可能在五分钟内读完一份"字面正确但重点全错"的报告，反而比两小时慢慢读危害更大。
我们内部有个原则：所有的效率优化，都必须有准确率作为前提约束。你可以把阅读时间缩短到原来的四分之一，但代价是严重误读率不能超过手工阅读的误报水平。如果没有这个约束，产品经理会本能地追求"快"，研发也没有动力去打磨那些耗时但不显眼的精度规则，最后做出来的就是一个漂亮的残废。
5.2 不要把 Agent 当万金油，投研场景需要责任边界
最近 Agent 概念很热，很多工具一上来就搞"一个 AI 投资助手，自动联网、自动调模型、自动写报告"。但在投研这个场景里，全自动是最危险的。一次自动生成的报告如果包含了一个关键数据错误，并且没有留下任何人可以追溯的痕迹，这个工具就失去了作为决策辅助的资格。
我们现在的做法是"半自动"：机器负责从海量信息里筛选、抽取、比对、预警，把候选结论拉出来，但所有涉及方向性判断的节点，都必须由用户或者研究员做最终确认。比如观点冲突检测引擎可以自动列出"三家券商给出的目标价相差 40%"，但它不能自动告诉你哪家是对的。这种"最后一站永远留给人类"的设计，看似效率不高，但在投研这种责任密集型行业里，反而是最大的竞争力。
5.3 把人工复核设计成"挑错"，而不是"确认"
用户使用 AI 投研工具时，最容易出现的一种心理是"工具都说了，应该没问题"，然后一路点确认，从不主动挑毛病。所以工具界面在设计人工复核环节的时候，不应该只放一个"我已确认"的按钮，而应该设计成"请指出本报告中最可疑的论断"。哪怕只是让用户高亮一个疑点，也能让注意力重新回到批判性思考上。
这个细节背后的逻辑是：AI 投研工具的价值不是替代用户思考，而是把用户的思考从低价值的"找数据"中解放出来，投放到高价值的"找漏洞"上。谁能把这条边界划得更清楚，谁的产品就会更长久地被信任。
在实际操作中，我越来越确定一件事：不要为了多接一个模型而兴奋，要为多解决一个投研环节而兴奋。模型可以一天换一个，但数据管道、任务拆解、评估闭环、人机协作机制这些东西，是需要日拱一卒慢慢积累的。下一回再有人问我你们用了几个大模型，我大概会反问一句：模型背后的那套投研逻辑，能经得起多少轮追问。
