1. 从“AI有没有品味”这个问题说起
第一次看到“TasteVal: Does AI have research taste?”这个标题，我脑子里蹦出来的不是学术定义，而是一个很具体的场景：你让一个模型帮你选研究方向，它给你列了五个题目，其中三个是“基于Transformer的XX改进”，两个是“用强化学习做XX优化”。你问它为什么选这些，它说“因为这些方向热度高、引用多、容易发”。这时候你心里大概会冒出一句话——这东西，没品味。
“研究品味”这个词在学术圈里是个很微妙的东西。它不是指你会不会做实验、会不会推公式，而是指你在面对一堆看起来都可行的方向时，能不能判断出哪个方向“值得做”。这个判断往往没有明确的对错，但几年后回头看，高下立判。有人把它叫做“学术直觉”，有人叫“问题感”，本质上都是同一种能力：在信息不完整、反馈周期极长的情况下，做出高质量的科研决策。
TasteVal这个项目，想做的事情就是把这个模糊的概念变成一个可以量化的评测基准。它要回答的核心问题是：当前的AI模型，尤其是大语言模型，在科研场景下到底有没有“品味”？如果有，体现在哪些维度？如果没有，差在哪里？
这个问题之所以值得认真对待，是因为现在越来越多的科研工作流开始引入AI。从文献调研、假设生成、实验设计到结果分析，AI参与的程度越来越深。但大多数评测基准关注的是“AI能不能做对题”，比如数学推理、代码生成、知识问答。这些评测有一个共同特点：有标准答案。而科研品味恰恰是在没有标准答案的地方体现出来的。
所以TasteVal的定位很明确：它不是一个考“知识”的基准，而是一个考“判断”的基准。它要测的是模型在面对开放性科研决策时，能不能做出让资深研究者认可的选择。这个定位决定了它的设计难度远高于常规benchmark，因为“让资深研究者认可”这件事本身就很难标准化。
我之所以对这个项目感兴趣，是因为它触及了一个被很多人忽略的问题：我们一直在讨论AI能不能做科研，但很少讨论AI做科研的“质量”到底如何。一个模型能生成一百个假设，其中有一个是对的，这算有科研能力吗？可能算。但这算有科研品味吗？大概率不算。品味体现在它能不能把那个对的假设排在前面，能不能在资源有限的情况下优先做最有价值的事。
TasteVal试图把这种区分变成可测量的东西。它的价值不在于给出一个“AI有没有品味”的二元答案，而在于提供一套框架，让我们可以讨论“AI在哪些科研决策维度上表现好，哪些维度上表现差”。这对于做AI for Science、做科研自动化、做智能体辅助研究的人来说，是一个很实际的参考。
2. 研究品味到底能不能被评测
2.1 为什么常规benchmark测不了科研品味
常规的AI评测基准，无论是MMLU、GSM8K还是HumanEval，底层逻辑都是“有标准答案的题目”。你答对了得分，答错了扣分，最后算一个准确率。这套逻辑在知识问答和技能测试上很有效，但放到科研品味上就完全失效了。
原因很简单：科研品味的核心场景是“没有标准答案的选择”。比如给你三个研究方向，问你哪个最值得投入。这个问题没有客观正确答案，只有“事后被证明是对的”和“事后被证明是错的”。而且这个“事后”可能是三年五年之后。你不可能等五年再来评测模型。
更麻烦的是，科研品味还涉及“问题定义”这个层面。一个高品味的研究者，往往不是解决了某个已知问题，而是重新定义了一个问题。爱因斯坦把“以太是否存在”重新定义为“光速是否恒定”，这就是品味。这种能力怎么评测？你没法给“重新定义问题”设一个标准答案。
所以TasteVal要做的第一件事，就是找到一种方式，把“没有标准答案的科研决策”转化成“可以比较的评测任务”。这个转化过程本身就是这个项目最有价值的部分之一。
2.2 TasteVal的评测维度拆解
根据我对这类项目的理解，以及从标题和关键词中能推断出的信息，TasteVal大概率会从以下几个维度来构建评测任务：
方向选择品味：给模型一组候选研究方向，让它排序或选择。评测标准不是“选得对不对”，而是“选得是否和资深研究者一致”。这里的关键是候选方向的设计，不能有明显的优劣之分，否则就变成了知识题。
假设生成品味：让模型针对一个具体问题生成若干假设，然后评测这些假设的“可检验性”“新颖性”“影响力潜力”。这三个维度都需要专家标注，所以成本很高。
实验设计品味：给定一个假设，让模型设计实验方案。评测点包括：实验是否可控、变量是否清晰、资源需求是否合理、是否有更简洁的验证路径。
结果解读品味：给模型一组实验数据（可能是真实的，也可能是构造的），让它判断结果是否支持假设、是否有其他解释、下一步该做什么。这个维度最接近真实科研场景。
资源分配品味：给定有限的计算资源（比如100张H100的机时），让模型决定怎么分配到不同的实验上。这个维度直接对应关键词里的“H100”，说明TasteVal很可能把算力约束作为评测的一部分。
这五个维度不是孤立的，它们之间有很强的关联。一个在方向选择上有品味的模型，通常在假设生成上也不会太差。但反过来不一定成立，有些模型能生成很好的假设，但方向选择一塌糊涂。
2.3 评测的“金标准”从哪来
这是TasteVal最核心的难点：你怎么知道模型的选择是“有品味”的？
常规做法是找一批资深研究者来做标注，让他们对模型的输出进行评分。但这里有几个问题：第一，资深研究者的时间很贵，不可能大规模标注；第二，不同研究者的品味本身就不一样，你很难说谁的标准更对；第三，标注一致性可能很低，尤其是涉及“新颖性”这种主观维度。
我推测TasteVal可能采用了以下几种策略的组合：
策略一：事后验证。选取一些已经发生过的科研决策案例，比如某个领域在某个时间点面临的方向选择，然后看模型的选择是否和后来实际发生的高影响力工作一致。这种方法的优点是客观，缺点是样本量有限，而且存在“后见之明”偏差。
策略二：专家共识。找一批研究者对同一组输出进行评分，然后取共识部分作为金标准。分歧大的样本直接剔除。这种方法能保证质量，但成本高、样本少。
策略三：对抗验证。让模型和模型之间进行对比，比如让两个模型分别给出科研决策，然后让另一个模型或人类来判断哪个更好。这种方法可以大规模做，但需要解决“评判者本身有没有品味”的问题。
策略四：下游任务验证。把模型的科研决策放到一个模拟的科研环境中执行，看最终产出的质量。比如让模型选择研究方向，然后按照这个方向做一轮文献调研和假设生成，最后评估整体产出。这种方法最接近真实场景，但实现复杂度最高。
不管用哪种策略，TasteVal都需要解决一个根本问题：科研品味的评测本质上是一个“主观判断的标准化”问题。它不可能做到像数学题那样精确，但可以通过精心设计的任务和严格的标注流程，把噪声控制在一个可接受的范围内。
3. 从H100关键词看算力约束下的科研决策
3.1 为什么算力约束是科研品味的一部分
关键词里出现“H100”不是偶然的。在当前的大模型研究环境下，算力是最稀缺的资源之一。一个研究者有没有品味，很大程度上体现在他能不能在有限的算力下做出有价值的工作。
我见过太多这样的情况：一个团队拿到100张H100，第一反应是“赶紧跑一个大模型”，结果跑了三个月，发现效果不如预期，算力也烧完了。另一个团队同样拿到100张H100，先花两周做小规模实验验证假设，然后集中算力做一个关键实验，最后出了高质量成果。这两者的差距，就是科研品味。
TasteVal把算力约束纳入评测，说明它想测的不是“模型在无限资源下能不能做出好决策”，而是“模型在真实资源约束下能不能做出好决策”。这个设定更贴近实际，也更有参考价值。
3.2 算力分配任务的评测设计
如果让我来设计TasteVal的算力分配评测任务，我会这样做：
给模型一个具体的科研场景，比如“你有一个新的注意力机制想法，需要在100张H100上验证”。然后给出一组可选的实验方案，每个方案有不同的算力需求、预期信息增益、失败风险。模型需要决定怎么分配这100张H100的机时。
评测点包括：
- 是否优先做了“信息增益最高”的实验，而不是“最容易做”的实验
- 是否预留了足够的算力用于失败后的调整
- 是否在早期阶段用了小规模实验来验证假设，而不是一上来就全量跑
- 是否考虑了实验之间的依赖关系，比如某些实验必须在其他实验成功后才能做
这些评测点看起来简单，但实际做起来很难。我见过很多人类研究者都会犯的错误：把算力平均分配到多个方向上，结果每个方向都做不深；或者把所有算力押在一个高风险假设上，失败了就什么都没有。
3.3 算力约束下的常见决策陷阱
从我个人经验来看，算力约束下的科研决策有几个典型陷阱：
陷阱一：算力换确定性。有些研究者为了追求“确定性”，会把大量算力花在调参和重复实验上，而不是探索新方向。这种做法在短期内能产出“稳”的结果，但长期来看缺乏突破性。
陷阱二：算力分散。把算力分散到太多方向上，每个方向都只做了一点点，最后哪个方向都没有足够的证据支持。这种做法看起来很“全面”，实际上是没有品味的表现。
陷阱三：忽视小规模验证。直接上大规模实验，不做小规模预实验。这种做法一旦假设有问题，损失会非常大。有品味的研究者通常会先用小规模实验快速验证核心假设，确认可行后再放大。
陷阱四：不做失败预案。把所有算力押在一个假设上，没有预留调整空间。科研的本质是不确定性，有品味的研究者会为失败留出余地。
TasteVal如果能把这些问题设计成评测任务，那它对AI科研能力的评估就会非常有针对性。一个模型如果在这些任务上表现好，说明它在算力约束下的科研决策是有品味的。
4. 多AI协作场景下的科研品味评测
4.1 为什么多AI协作会放大品味问题
现在越来越多的科研工作流开始引入多个AI智能体协作。比如一个智能体负责文献调研，一个负责假设生成，一个负责实验设计，一个负责结果分析。这种多AI协作的模式看起来很美好，但实际上会放大品味问题。
原因很简单：单个AI的品味问题可能被人类的判断所弥补，但多AI协作时，如果每个智能体都没有品味，那整个系统的输出就会是一堆“看起来合理但实际没有价值”的东西。更糟糕的是，智能体之间可能会互相强化错误的判断，形成一种“回音室效应”。
我试过用多个AI智能体做文献调研和假设生成，发现一个很典型的问题：智能体A生成了一批假设，智能体B对这些假设进行“评估”，但智能体B的评估标准是“这些假设是否和已有文献一致”，而不是“这些假设是否有价值”。结果就是，所有新颖的假设都被过滤掉了，剩下的都是“安全但平庸”的假设。
这就是品味问题的放大：单个AI可能只是“不够好”，但多AI协作时，如果没有品味作为引导，整个系统会系统性地偏向平庸。
4.2 TasteVal在多AI协作场景下的评测思路
TasteVal如果要评测多AI协作场景下的科研品味，需要设计一些特殊的任务：
任务一：智能体分工的合理性。给模型一组智能体角色（文献调研、假设生成、实验设计、结果分析），让它决定怎么分配任务和资源。评测点是：分工是否合理、是否有冗余、是否有遗漏。
任务二：智能体之间的信息传递。让多个智能体协作完成一个科研任务，但限制它们之间的通信带宽。评测点是：模型是否能在有限通信下传递最关键的信息，而不是把所有细节都传过去。
任务三：冲突解决。让两个智能体对同一个科研问题给出不同的判断，然后让第三个智能体来决定采纳哪个。评测点是：模型是否能识别出哪个判断更有品味，而不是简单地“少数服从多数”或“取平均”。
任务四：品味传递。让一个“高品味”的智能体和一个“低品味”的智能体协作，看高品味智能体是否能影响低品味智能体的判断。这个任务最难，但也最有价值。
这些任务的设计核心是：多AI协作不是简单的“1+1=2”，而是可能产生“1+1<1”的效果。TasteVal要测的就是，在什么条件下多AI协作能提升科研品味，在什么条件下会降低。
4.3 多AI协作的实操避坑经验
从我个人实操经验来看，多AI协作做科研时，有几个坑一定要避开：
坑一：不要让所有智能体都用同一个模型。如果所有智能体都是同一个模型，它们的偏见会高度一致，协作就变成了“自己和自己商量”。最好用不同架构、不同训练数据的模型，让它们之间有真正的差异。
坑二：不要让智能体直接投票。投票机制会系统性地偏向“多数意见”，而科研品味往往在少数意见里。更好的做法是让一个“裁判”智能体来评估不同意见的质量，而不是简单投票。
坑三：不要忽视智能体之间的通信成本。多AI协作的一个隐性成本是通信。如果智能体之间需要传递大量信息，那协作的效率会很低。有品味的设计是让每个智能体只传递“决策所需的最小信息”。
坑四：不要忘记人类在回路中。多AI协作不意味着人类可以完全放手。至少在关键决策点上，人类的品味判断仍然是不可替代的。TasteVal如果只测AI之间的协作，而不考虑人类在回路中的角色，那评测结果可能会偏离实际。
5. 科研品味评测的实操流程与参数设计
5.1 评测任务的设计流程
如果要复现一个类似TasteVal的科研品味评测，我建议按照以下流程来设计任务：
第一步：确定评测维度。根据你的目标场景，选择3-5个核心维度。不要贪多，维度太多会导致评测成本急剧上升。我建议从“方向选择”和“实验设计”这两个维度开始，因为它们最接近真实科研决策。
第二步：构建候选集。为每个维度构建一组候选选项。候选集的设计是关键：选项之间不能有明显的优劣之分，否则就变成了知识题。同时，选项要覆盖不同的“品味层次”，比如有的选项是“安全但平庸”，有的是“高风险高回报”，有的是“新颖但不可行”。
第三步：专家标注。找3-5位资深研究者对候选集进行标注。标注内容包括：每个选项的品味评分（1-5分）、选择理由、不确定性程度。标注过程中要记录分歧点，分歧大的样本要么剔除，要么单独分析。
第四步：设计评测指标。不要只用“准确率”这一个指标。我建议用以下几个指标组合：
- 一致性：模型选择与专家共识的匹配程度
- 区分度：模型能否区分高品味和低品味选项
- 稳定性：同一任务多次运行时，模型选择的一致性
- 解释质量：模型给出的选择理由是否合理
第五步：基线测试。在正式评测AI之前，先让一组人类研究者做同样的任务，作为基线。这能帮你判断任务难度是否合适，以及AI的表现到底处于什么水平。
5.2 关键参数的计算与选择
在TasteVal这类评测中，有几个关键参数需要仔细设计：
样本量：每个维度至少需要50-100个任务样本，才能保证统计显著性。如果样本太少，评测结果的置信区间会很宽，无法区分不同模型的表现。
专家数量：每个任务至少需要3位专家标注。如果只有1-2位，标注结果的可靠性会很低。3-5位是比较合理的范围，既能保证可靠性，又不会成本过高。
一致性阈值：专家之间的一致性用Krippendorff‘s alpha来衡量。alpha大于0.6说明一致性可接受，大于0.8说明一致性很好。如果alpha低于0.6，说明任务设计有问题，需要重新调整。
评分尺度：建议用5分制而不是10分制。10分制看起来更精细，但实际上专家很难区分7分和8分的差别。5分制（1=很差，2=较差，3=一般，4=较好，5=很好）更实用。
任务时长：每个任务的设计应该让专家在5-10分钟内完成。如果任务太复杂，专家会疲劳，标注质量会下降。如果任务太简单，又测不出品味差异。
5.3 评测执行的实操记录
假设你现在要跑一轮TasteVal评测，以下是我建议的实操步骤：
准备阶段：
# 创建工作目录 mkdir tasteval_eval && cd tasteval_eval # 准备任务数据 # tasks.json 包含所有评测任务 # experts.json 包含专家信息 # models.json 包含待评测模型列表数据格式示例：
{ "task_id": "direction_selection_001", "dimension": "direction_selection", "context": "你是一个AI研究者，正在选择下一个研究方向。", "candidates": [ {"id": "A", "description": "基于Transformer的改进", "expert_score": 3.2}, {"id": "B", "description": "全新的架构设计", "expert_score": 4.5}, {"id": "C", "description": "现有方法的组合优化", "expert_score": 2.8} ], "expert_consensus": "B", "expert_agreement": 0.72 }执行阶段：
- 对每个任务，让模型生成选择结果和理由
- 记录模型的原始输出，不要做任何后处理
- 对每个任务运行3次，检查模型的一致性
- 如果模型输出格式不符合要求，记录为“格式错误”，不要强行解析
分析阶段：
- 计算模型选择与专家共识的一致性
- 计算模型在不同维度上的表现差异
- 分析模型给出的理由质量
- 对比不同模型的表现，找出差异点
5.4 评测中的注意事项
注意：科研品味评测最大的风险是“专家偏见”。如果专家团队本身品味不够高，那评测结果就会把AI引导到错误的方向。所以专家选择比任务设计更重要。
注意：不要用“引用数”或“发表期刊”作为品味的唯一标准。这些东西有滞后性，而且受很多非品味因素影响。真正的品味体现在“选择的质量”，而不是“结果的产出”。
注意：评测结果不要只看平均值。平均值会掩盖很多信息。要看分布、看方差、看极端案例。一个模型可能在80%的任务上表现平庸，但在20%的任务上表现极好，这种模型可能比一个在所有任务上都表现中等的模型更有价值。
6. 常见问题与排查技巧实录
6.1 评测任务设计中的典型问题
问题一：任务太简单，所有模型都能做对。这说明任务没有区分度。解决方法是增加任务的模糊性，让选项之间的差异更微妙。比如把“选择研究方向”改成“在资源有限的情况下，选择先做哪个方向”。
问题二：任务太难，所有模型都做不对。这说明任务超出了当前模型的能力范围。解决方法是降低任务复杂度，或者把任务拆解成多个子任务。比如把“设计完整实验方案”拆解成“选择实验变量”和“确定样本量”两个子任务。
问题三：专家标注一致性太低。这说明任务本身有歧义，或者专家之间的品味差异太大。解决方法是重新设计任务，让选项之间的差异更明确。如果还是不行，就只保留一致性高的样本。
问题四：模型输出格式不稳定。这说明模型的指令遵循能力不够。解决方法是在prompt中给出更明确的格式要求，或者在评测前先做一轮格式微调。
6.2 评测结果分析中的常见陷阱
陷阱一：只看准确率。准确率只能告诉你模型选对了多少，不能告诉你模型为什么选对。一个模型可能因为“运气好”而选对，另一个模型可能因为“真正有品味”而选对。这两者的区别很重要。
陷阱二：忽视模型的不确定性。有些模型在不确定的时候会随机选一个，有些模型会给出“我不确定”的信号。后者其实更有价值，因为它知道自己不知道。评测时应该把“不确定性表达”作为一个正面指标。
陷阱三：用同一个模型做裁判。如果你用GPT-4来评测GPT-4的输出，结果会有偏差。最好用多个不同的模型做裁判，然后取共识。
陷阱四：忽视任务之间的相关性。有些任务之间高度相关，比如“方向选择”和“假设生成”。如果模型在一个任务上表现好，在另一个任务上大概率也会表现好。分析时要注意这种相关性，不要把它当成两个独立的证据。
6.3 常见问题速查表
| 问题类型 | 典型表现 | 排查思路 | 解决方法 |
|---|---|---|---|
| 任务无区分度 | 所有模型得分接近 | 检查选项差异是否太小 | 增加选项的模糊性 |
| 专家一致性低 | alpha < 0.6 | 检查任务是否有歧义 | 重新设计任务或剔除样本 |
| 模型输出格式错误 | 无法解析模型输出 | 检查prompt格式要求 | 增加格式示例和约束 |
| 评测结果不稳定 | 多次运行结果差异大 | 检查模型温度参数 | 降低温度或增加运行次数 |
| 模型表现异常好 | 得分远超预期 | 检查是否有数据泄露 | 确保任务与训练数据无重叠 |
| 模型表现异常差 | 得分远低于预期 | 检查任务是否超出能力 | 降低任务难度或换模型 |
6.4 独家避坑技巧
技巧一：用“对抗样本”测试模型的品味。设计一些“看起来很好但实际上很差”的选项，看模型能不能识别出来。比如一个研究方向听起来很新颖，但实际上不可行。有品味的模型应该能识别出这种陷阱。
技巧二：让模型解释“为什么不选”。很多时候，模型选择什么不重要，重要的是它能不能说清楚为什么不选其他选项。一个能清晰解释“为什么不选”的模型，通常比一个只说“我选这个”的模型更有品味。
技巧三：用“时间压力”测试模型的决策质量。给模型一个时间限制，看它在压力下能不能做出高质量决策。有品味的研究者在时间压力下也能做出不错的判断，而没品味的模型会随机选一个。
技巧四：用“资源约束”测试模型的优先级判断。给模型一个资源极度受限的场景，看它能不能识别出“最重要的事”。这个技巧特别适合测试算力分配品味。
技巧五：用“跨领域迁移”测试模型的品味泛化能力。让模型在一个领域做科研决策，然后看它能不能把这种品味迁移到另一个领域。有品味的模型应该有一定的泛化能力，而不是只在一个领域表现好。
7. 我对AI科研品味这件事的真实看法
说实话，我对“AI有没有科研品味”这个问题持谨慎态度。不是说这个问题不重要，而是说它可能比我们想象的更难回答。
从TasteVal这个项目的设计思路来看，它试图把科研品味拆解成几个可评测的维度，然后用专家标注来建立金标准。这个思路是合理的，但有一个根本性的问题：科研品味在很大程度上是“事后才能验证”的。你今天觉得某个方向有品味，可能三年后发现它是个死胡同。你今天觉得某个方向没品味，可能三年后发现它是突破性的。
这意味着TasteVal的评测结果只能反映“当前专家共识下的品味”，而不能反映“真正的科研品味”。这两者之间的差距，可能比我们想象的要大。
但这不意味着TasteVal没有价值。恰恰相反，它的价值在于提供了一个讨论框架。在没有TasteVal之前，我们讨论“AI有没有科研品味”只能靠感觉。有了TasteVal之后，我们至少可以指着具体的数据说：“在这个维度上，模型A比模型B表现好。”这种可比较性本身就是进步。
另一个我觉得值得关注的点是：TasteVal可能会揭示出AI科研品味的一个根本性局限。当前的AI模型本质上是“模式匹配器”，它们擅长的是从大量数据中提取规律，而不是在信息不完整的情况下做出创造性判断。科研品味恰恰需要后者。所以TasteVal的结果可能会显示，AI在某些维度上表现不错（比如方向选择），但在另一些维度上表现很差（比如问题重新定义）。
如果这个假设成立，那TasteVal的意义就不只是“评测AI”，而是“告诉我们AI在科研中应该扮演什么角色”。也许AI适合做“科研助手”，帮人类研究者筛选方向、生成假设、设计实验，但不适合做“科研领导者”，决定什么方向值得做。这个分工可能才是更合理的。
最后再分享一个小技巧：如果你在做AI辅助科研的工作，不要指望AI能替你做出“有品味”的决策。更好的用法是让AI生成大量选项，然后你用你的品味来筛选。AI负责“广度”，你负责“深度”。这个分工在实际操作中比让AI独立做决策要靠谱得多。
