排名选择联合实验：提升偏好测量效率的新方法

1. 排名选择联合实验：为什么我们需要一种更高效的偏好测量方法

在社会科学、市场研究和政策评估领域，我们常常需要回答一个核心问题：当人们面对一个由多个属性（例如，候选人的党派、经历、政策立场，或产品的价格、品牌、功能）构成的选择时，他们究竟是如何做决定的？哪些属性真正驱动了他们的偏好？联合实验（Conjoint Experiment）在过去十几年里，已经成为回答这类问题的黄金标准方法。它的逻辑直观而有力：通过随机化生成大量虚拟的“选项组合”（我们称之为“配置文件”或“情景”），然后让受访者从中选择他们更偏好的一个，最后通过统计模型（最常用的是平均边际成分效应，AMCE）来量化每个属性水平的因果效应。

然而，做了这么多年调查和实验，我和许多同行都面临一个共同的痛点：效率瓶颈。传统的二元强制选择（Forced-Choice Conjoint, FCC）要求受访者在两个选项（K=2）中选一个。为了获得足够精确的估计，我们往往需要让每个受访者完成大量这样的选择任务，或者招募大量的受访者。前者可能导致受访者疲劳、注意力下降，产生“任务顺序效应”；后者则意味着高昂的金钱和时间成本，尤其是在使用高质量的概率样本时，每个受访者的成本可能非常可观。当研究预算紧张或调查时间有限时，我们不得不在精度和成本之间做出艰难取舍。

有没有一种方法，能在不增加受访者负担或样本量的前提下，“榨取”出更多的信息，从而获得更精确的估计？这正是“排名选择联合实验”（Ranked-Choice Conjoint, RCC）要解决的问题。它不再满足于“二选一”，而是向受访者一次性展示K个（例如3个、4个甚至6个）配置文件，并要求他们对这些配置文件进行完整的排序。这个看似简单的改变，背后却蕴含着巨大的效率提升潜力。从信息论的角度看，一个完整的排序所蕴含的偏好信息量，远大于一个单一的二元选择。本文将深入拆解这种新方法的核心原理、实操细节、效率优势以及实施中必须注意的“坑”，并介绍配套的R工具包cjrank，希望能为面临类似效率困境的研究者提供一个切实可行的新工具。

2. 核心原理拆解：从排序到成对比较，信息量如何倍增？

要理解排名选择联合实验为何能提升效率，我们需要先回到联合实验估计的根基：平均边际成分效应（AMCE）。AMCE衡量的是，当某个属性从一个参考水平切换到另一个目标水平时，一个选项被选中的概率平均变化了多少。在二元强制选择（FCC）中，我们观察到的数据是成千上万个独立的“A vs B”选择结果。

2.1 排名扩展：将一次排序转化为多次比较

排名选择联合实验（RCC）的魔法始于一个称为“排名扩展”（Rank Expansion）的数据处理步骤。假设在一次任务中，受访者面对K=4个配置文件（A, B, C, D），并给出了一个完整的排序，比如 A > B > C > D（A最偏好，D最不偏好）。

这个排序本身是一个有序变量，但我们可以从中推导出所有可能的成对比较结果：

• A vs B: A胜出 (因为A排在B前面)
• A vs C: A胜出
• A vs D: A胜出
• B vs C: B胜出
• B vs D: B胜出
• C vs D: C胜出

对于一个包含K个配置文件的排序，总共可以产生K*(K-1)/2个独特的成对比较。在K=4时，是6个；在K=6时，是15个。关键之处在于：在传统FCC设计中，要获得这6个或15个比较，你需要让受访者完成6次或15次独立的二元选择任务。而在RCC中，受访者只完成了一次排序任务，我们就“免费”获得了所有这些隐含的成对比较数据。

从统计学的角度看，这相当于在不增加受访者数量（N）的情况下，极大地增加了用于估计AMCE的有效观测数量。虽然这些从同一个排序任务中衍生出的成对比较并非完全独立（它们来自同一个受访者的同一套偏好），但在符合特定假设的前提下，它们仍然能为模型估计提供宝贵的信息，从而降低估计量的方差，即提高估计精度。

2.2 两个关键假设：忠实排序与无关选项独立性

当然，天下没有免费的午餐。排名扩展方法要能无偏地估计出与FCC相同的AMCE，依赖于两个核心假设：

假设一：忠实排序（Faithful Ranking）这个假设要求受访者给出的排序真实地反映了他们内心的潜在效用排序。也就是说，如果受访者内心认为配置文件A的效用高于B，那么他在排序时就会把A排在B前面。这听起来理所当然，但在实际操作中可能被违反。例如，受访者可能因为注意力不集中、对任务理解有误，或者单纯觉得排序太麻烦而随机拖动选项，导致报告的排序与真实偏好不符。这属于测量误差问题。

假设二：无关选项独立性（Independence of Irrelevant Alternatives, IIA）这个假设更为微妙。它要求，对于任何两个配置文件A和B，受访者对“A是否优于B”的判断，只取决于A和B自身的属性，而不受任务中出现的其他配置文件（C, D...）的影响。换句话说，其他选项的存在不应该改变A和B之间的相对吸引力。

IIA假设在现实中有可能被违反。例如，在一个政治候选人实验中，如果A和B都是温和派，而突然加入一个极端派候选人C，可能会让A和B看起来更相似，从而影响受访者对A和B的区分度。不过，原论文的附录A1.5部分通过理论推导指出，由于实验中所有属性都是独立随机分配的，即使IIA被轻微违反，它也不会像遗漏变量那样导致估计偏误，而主要是通过影响估计效率。只要违反程度不高，对AMCE估计的影响是有限的。

2.3 效率增益的理论上限

在满足上述假设的理想情况下，排名选择设计能带来多大的效率提升？原论文的Proposition 2给出了一个简洁的理论公式。相比于传统的K=2强制选择，当使用K个配置文件进行排名时，AMCE估计量方差的下降比例（即精度提升）有一个理论上限。

这个公式推导基于一个零假设场景：所有K!种可能的排序顺序出现的概率完全相等（即受访者完全随机排序）。在这种情况下，经过排名扩展后，估计量的渐近方差之比为：2(K+1) / [3K(K-1)]。由此可以计算出标准误（SE）的下降比例。

我们来看几个具体数值，这能让我们对效率增益有一个直观感受：

• K=3： 理论标准误降低33%。这意味着要达到相同的估计精度，FCC需要的样本量大约是RCC的1.5倍。
• K=4： 理论标准误降低47%。FCC需要的样本量接近RCC的2倍。
• K=6： 理论标准误降低61%。FCC需要的样本量大约是RCC的2.5倍才能获得同等精度。

注意：这是理论上的上限。在实际操作中，由于受访者之间的异质性以及同一受访者内部比较的相关性（聚类效应），实际的效率增益会略低于这个理论值。但论文中的实证结果（后文会详细说明）显示，实际增益非常接近理论预测，证明了该方法的巨大潜力。

3. 实操要点：如何设计与实施一个排名选择联合实验

理解了原理，下一步就是动手实践。从传统的强制选择切换到排名选择，并非只是把选择按钮换成拖拽列表那么简单。以下几个环节需要格外注意。

3.1 任务界面与交互设计

界面的友好度直接关系到数据质量。对于排名任务，最常见的实现方式是拖放排序。提供一个列表，初始时配置文件按随机顺序排列，受访者可以通过拖拽来调整顺序，直到满意为止。

设计心得与避坑指南：

1. 明确的指令： 指令必须清晰无误。例如：“请将您最偏好的候选人拖到顶部（第1位），次偏好的拖到第2位，依此类推，将最不偏好的留在底部。” 最好配有简短的动态图示或示例。
2. 视觉反馈： 在受访者拖拽时，界面应提供即时的视觉反馈（如位置指示线、序号变化），减少操作的不确定性。
3. 移动端适配： 越来越多的调查在手机上进行。拖放操作在触屏上可能不如在桌面端顺畅。务必在正式调查前，在不同型号的手机上进行充分测试。也可以考虑提供替代交互方式，例如为每个选项提供“上移”、“下移”按钮。
4. “位置效应”的预防与检验： 原论文的附录（表A8）揭示了一个重要现象：在使用拖放界面时，排在初始列表靠后位置的配置文件，有系统性地获得更差（更高，即更不偏好）排名的趋势。这很可能是因为受访者倾向于不去移动那些已经处在列表底部、他们不感兴趣的选项。对策：在实验设计中，必须将配置文件的初始显示位置完全随机化。在后续的数据分析中，也应将“显示位置”作为一个控制变量加入模型，以检验并控制其潜在影响。好在，只要位置是随机分配的，它就不会造成AMCE的估计偏误，但可能会增加一些噪音。

3.2 配置文件数量K的选择：在精度与负担间寻找平衡点

K选多大？这是实施RCC时最关键的决策之一。原论文的图8（Panel A）完美地总结了其中的权衡。

• K=3： 这是一个温和的起点。排序任务相对简单，认知负担轻，适合用于测试或当研究对象非常复杂时。它能提供约33%的理论精度提升。
• K=4： 论文作者认为，对于大多数应用而言，K=4提供了精度、效度和受访者负担之间最具吸引力的平衡。它能提供近50%的精度提升，同时排序任务对大多数受访者来说仍然可管理。
• K=6： 能带来最大的理论效率增益（约61%），但代价是任务复杂度显著增加。受访者需要同时比较6个选项，这可能超出部分人的认知负荷，导致排序质量下降、任务完成时间延长，并可能增加违背IIA假设的风险。

选择K的实操建议：

1. 考虑研究场景的“自然性”： 如果研究场景本身涉及自然的比较和排序（如选举中给候选人排序、消费者对一系列产品进行偏好排序），那么受访者更容易适应较大的K值（4或6）。如果场景是抽象、对称的政策组合排序（如分配预算给不同项目），较大的K值可能会让受访者感到困惑和吃力。
2. 进行前测： 在正式研究前，务必用小样本（例如50-100人）进行前测。前测的目标是：
   • 测量平均任务完成时间。
   • 通过后续的“注意力检查题”或数据质量检测（如下文将提到的传递性检验），评估排序任务是否引入了过多噪音。
   • 收集受访者对任务难度的主观反馈。
3. 明确你的瓶颈资源： 如果你的主要限制是样本成本（例如使用昂贵的概率样本），那么倾向于选择较大的K值（如4或6），以最大化每个受访者提供的信息，从而减少所需的总样本量。如果你的主要限制是调查总时长，则需要计算“每分钟调查时间获得的精度”。论文发现，在K=4和K=6时，排名选择设计每分钟带来的精度增益比K=2的强制选择高出32%-42%。

3.3 样本量与轮次计算

由于RCC的效率更高，在达到相同统计功效（例如检测到特定大小的AMCE）的前提下，它所需的样本量小于FCC。你可以利用理论上的方差缩减比例进行粗略估算。

例如，假设你计划进行一个传统FCC设计，根据功效分析需要1000名受访者，每人完成10轮二元选择任务（共产生10000个观测值）。若你改用K=4的RCC设计，理论精度提升约47%，这意味着标准误约为原来的53%。因为样本量需求与标准误的平方成反比，所以达到相同精度所需的样本量大约为1000 * (0.53)^2 ≈ 280人。这是一个巨大的节省。

在轮次设计上，由于每轮RCC任务能产生更多数据，你可以相应减少总轮次。例如，原论文的研究1中，RCC组（K=3）的受访者完成的轮次比FCC组少了33%，但最终获得了更精确的估计。

4. 数据分析流程：从排序数据到AMCE估计

数据收集完成后，分析的核心步骤是将排序数据转换为可用于估计AMCE的格式。这正是cjrankR包大显身手的地方。

4.1 数据准备与排名扩展

你的原始数据很可能是一个“长格式”的数据框，每一行代表一个受访者在某一轮任务中对某一个配置文件的评价。关键是需要有一个变量来记录该配置文件在本轮中获得的排名（1代表最偏好，K代表最不偏好）。

假设你的数据框df包含以下变量：

• respondent_id: 受访者ID
• task: 任务轮次
• profile_id: 配置文件ID（在同一task内唯一）
• rank: 该配置文件在本轮中的排名（1到K）
• 以及所有属性变量，如party（党派）、experience（经验）等。

cjrank包的核心函数rank_expand()会帮你自动完成扩展工作。它会读取按respondent_id和task分组的数据，根据rank列生成所有可能的成对比较。

# 假设已安装并加载 cjrank 包 library(cjrank) # 对数据进行排名扩展 expanded_data <- rank_expand( data = df, ranking = "rank", # 排名变量名 id = "profile_id", # 配置文件ID变量名 by = c("respondent_id", "task") # 分组变量 ) # 查看扩展后的数据结构 head(expanded_data)

扩展后的expanded_data数据框，每一行代表一个隐含的成对比较。它会包含例如profile_id_a,profile_id_b，以及一个结果变量choice（通常为1表示profile_id_a被偏好，0表示profile_id_b被偏好）。同时，它会将两个配置文件的属性信息合并到这一行，通常通过添加后缀“_a”和“_b”来区分。

4.2 估计AMCE

得到扩展后的成对比较数据后，其数据结构与传统的FCC数据就非常相似了。你可以使用任何你熟悉的用于分析FCC的方法来估计AMCE，最常用的就是线性回归。

例如，使用lm_robust函数（来自estimatr包）并聚类标准误在受访者层面：

library(estimatr) # 假设我们想估计‘党派’属性的效应，以‘民主党’为基准，估计‘共和党’的AMCE # 扩展后的数据中，属性变量可能被重命名了，例如 party_a, party_b # 我们需要创建一个新的变量来表示在这个成对比较中，选项a是否是共和党，选项b是否是民主党（或其他对比） # 这里是一个简化示例，实际中可能需要根据你的属性编码来创建虚拟变量 model <- lm_robust( choice ~ republican_a + experience_high_a + ..., # 放入所有你想估计的属性水平变量 data = expanded_data, clusters = respondent_id, # 在受访者层面聚类标准误 se_type = "CR2" # 使用CR2标准误，对小样本更稳健 ) summary(model)

cjrank包也可能提供更便捷的封装函数来直接计算AMCE，其本质就是在后台完成了上述的数据扩展和模型估计步骤。

4.3 诊断检验：验证关键假设

在报告结果之前，负责任的研究者必须对两个关键假设进行诊断性检验。cjrank包内置了这些检验工具。

1. 传递性检验（Test of Transitivity）传递性是偏好一致性的基石：如果A优于B，且B优于C，那么A必须优于C。在排名数据中，由于要求给出完整排序，理论上不会出现直接的传递性矛盾。但我们可以通过“重测”的方式来检验：在调查中，可以随机插入一些重复的成对比较（将之前比较过的两个配置文件再次呈现），检查受访者的选择是否前后一致。原论文发现，即使在基础的FCC（K=2）中，重测的传递性违反率也有约13%，这为评估RCC的违反率提供了一个有用的基准。

2. 无关选项独立性检验（Test of IIA）检验IIA更为复杂。一种实践方法是利用排名数据本身的结构。我们可以考察，对于一个给定的受访者，他对某两个配置文件（A和B）的相对偏好，是否会根据本轮任务中出现的第三个配置文件C的属性而系统性变化。例如，在候选人实验中，我们可以检验“当本轮中存在一个极端自由派候选人时，受访者对温和派A vs 温和派B的选择概率，与当本轮中存在一个温和派候选人时是否有差异”。cjrank包应能提供进行此类检验的函数或指导。

原论文的图8（Panel B）显示，即使随着K增大，违反IIA的比例有所上升，但将这些违反者从样本中排除后，AMCE的估计值变化微乎其微。这表明，在实证中观察到的违反程度，尚不足以对估计结果产生有意义的扭曲。

5. 实证效果与效率权衡：来自原始研究的证据

理论很美好，但实际效果如何？原论文通过两个精心设计的实验（一个关于政治候选人选择，一个关于预算分配政策）提供了强有力的证据。

5.1 精度提升是实实在在的

在两个研究中，从排名选择数据估计出的AMCE与从强制选择数据估计出的AMCE高度一致，但前者的估计精度显著更高（标准误更小）。具体来说：

• 在研究1（K=3 vs K=2）中，排名选择设计的标准误降低了约30%。
• 在研究2中，K=4时标准误降低了约40%，K=6时降低了约55%。

这些降幅与理论预测（K=3降33%，K=4降47%，K=6降61%）相当接近，证实了效率增益的可靠性。

5.2 效率增益的两种应用场景

这种精度提升能转化为两种实实在在的研究优势，取决于你的瓶颈资源是什么：

场景一：样本量是瓶颈（样本成本高）这是最常见的情况。使用高质量的概率样本时，每个受访者的成本可能高达10美元甚至更多。此时，排名选择设计允许你用更少的受访者获得与强制选择设计同等的统计精度。原论文计算了“样本量乘数”：要达到相同的精度，FCC所需的受访者数量大约是RCC的多少倍。例如，在K=4时，这个乘数接近2。这意味着你的研究预算可以减半，或者用同样的预算获得更精确的结果。

场景二：调查时间是瓶颈（问卷长度受限）有时，你的调查只是一个大问卷中的一个模块，总时长被严格限制。虽然单个排名任务（尤其是K较大时）可能比单个二元选择任务耗时稍长，但每个排名任务能产生多得多的有效观测。论文计算了“单位时间精度”，发现K=4和K=6的排名设计，每分钟调查时间所产生的精度，比K=2的强制选择高出32%到42%。如果你想评估相同数量的配置文件，排名设计需要的总任务轮次更少（研究1中减少了33%），这有助于减轻受访者疲劳和“遗留效应”。

5.3 不同研究场景的异质性表现

一个有趣的发现是，排名选择的优势并非在所有情境下均等。在政治候选人实验中，效率增益和预测准确性提升都非常明显。这很可能是因为选民在真实选举中本就习惯于对候选人进行比较和排序，任务非常“自然”。

然而，在预算政策实验中，虽然效率仍有增益，但预测准确性的提升较弱，且受访者完成任务的速度更慢。这可能是因为预算项目（如“国防”、“教育”、“医疗”）的属性结构更加对称和抽象，对其进行排序需要更高的认知努力。

给研究者的启示：排名选择设计在研究对象是受访者天然会进行比较评估的实体（如候选人、消费品、住房选择）时，可能表现最佳。当研究对象是由对称、可互换维度定义的抽象组合时，其优势可能会打折扣。在决定采用此方法前，应仔细评估排序任务在你的特定研究领域是否“自然”，并通过小样本前测来验证额外的认知负担不会引入过多噪音。

6. 常见问题、挑战与应对策略

在实际操作中，你可能会遇到以下问题。以下是我根据文献和自身经验总结的应对思路。

6.1 受访者真的能认真完成排序吗？数据质量如何保障？

这是对排名方法最大的质疑。论文通过多种方式进行了验证：

1. 与强度评分互验： 在实验后，让受访者用0-100分为每个配置文件的偏好强度打分。结果发现，从排名数据估计的AMCE与从强度评分估计的AMCE高度相关（r > 0.92）。这表明排名数据捕捉到了真实的偏好强度信号，而非随机噪音。
2. 关注“首选信号”： 即使受访者对中间排名的区分可能模糊，但他们对于“最喜欢哪一个”（top choice）的判断通常是清晰和稳定的。分析证实，无论K值大小，从排名数据中提取的“首选 vs 其他”这个二元信号的强度是同等稳健的。
3. 诊断检验： 如前所述，利用cjrank包进行传递性和IIA检验，识别并评估数据质量问题。如果违反率过高，则需要反思任务设计或说明是否清晰。

应对策略：

• 提供充分的练习： 在正式任务开始前，提供一个不计入分析的排序练习环节，并给出反馈。
• 控制任务复杂度： 谨慎选择K值，避免一次性展示过多（如超过6个）配置文件。
• 设计清晰的属性： 确保配置文件的各个属性水平易于理解和区分。

6.2 排名数据与连续评分数据，孰优孰劣？

既然担心排序的认知负担，为什么不直接让受访者对每个配置文件进行0-100的连续评分呢？这样既避免了排序的传递性和IIA假设，又能获得更丰富的信息。

论文也探讨了这个问题，并发现从连续评分估计的AMCE与从排名扩展数据估计的AMCE高度一致。两者是互补的。排名法的优势在于：

• 它保留了基于选择的框架，这与AMCE的理论基础（基于离散选择模型）完全契合。
• 连续评分可能引入“量表使用异质性”（有些人习惯打高分，有些人习惯打低分）和“锚定效应”等问题，需要额外的模型来处理。
• 对于许多决策场景（如投票、购买），做出一个选择或排序比给出一个抽象的分数更贴近真实行为。

因此，选择排名还是评分，取决于你的研究问题和理论框架。如果你关心的是模拟真实选择行为，排名法可能更合适；如果你更关心偏好的强度差异，且能处理好评分量表的复杂性，评分法也是一个选项。

6.3 如何处理部分排序或不完全排序？

有时，让受访者对大量选项进行完全排序可能过于繁琐。一种变体是“部分排序”，例如只要求选出前3名，或者进行“最佳-最差”缩放。cjrank包目前主要针对完全排序设计。如果你采用部分排序，数据扩展的逻辑会发生变化，需要根据具体任务设计定制分析方案。这通常涉及到更复杂的模型，如秩序逻辑模型。

6.4 效率增益是否只存在于高教育水平或高投入的受访者中？

一个合理的担忧是，排序任务可能只对认知能力较强或更认真的受访者有效，从而加剧样本的选择性偏差。论文通过按教育水平（是否拥有大学学位）和任务完成速度（中位数分割）进行分组分析，检验了这一点。

结果令人鼓舞：效率增益在不同子群体中是相似的。例如在研究2的K=4条件下，无论是否有大学学位，标准误的降低比例都在41%左右。这表明排名选择设计的优势具有普遍性，并非只惠及特定群体。

7. 工具推荐与工作流整合：cjrankR包

为了让研究者能方便地应用这一方法，论文作者开发了cjrankR包。这个包的目标是提供从数据检验到结果估计的端到端工作流。

核心功能概览：

1. 数据扩展 (rank_expand)： 将长格式的排名数据自动扩展为成对比较数据。
2. 诊断检验： 提供函数来检验排序数据的传递性和IIA假设。
3. AMCE估计： 提供与流行联合分析包（如cregg）兼容的函数，方便地估计AMCE并计算标准误。
4. 可视化： 可能包含绘制AMCE估计图、诊断图等的函数。

与现有工作流的整合：cjrank的设计理念是“即插即用”。只要你现有的联合实验数据包含一个排名变量，就可以无缝接入。你不需要改变你生成随机配置文件的方式，也不需要改变你收集数据的基本平台（如Qualtrics, SurveyMonkey）。你只需要在数据分析阶段，将数据导入R，然后用cjrank进行处理和诊断，最后用你熟悉的模型进行估计。

我个人在尝试使用该包时，发现其文档清晰，函数设计简洁。它没有试图重新发明轮子，而是专注于解决排名数据特有的处理和分析问题，这使得它很容易被整合到现有的研究流程中。

排名选择联合实验并非要完全取代传统的强制选择设计，而是为我们工具箱里添加了一件更高效、在某些场景下更合适的利器。它特别适合那些样本成本高昂、调查时间紧迫，或者研究对象本身具有天然可比性的研究项目。任何方法的采用都需要权衡，而理解其背后的假设、优势和局限，正是我们作为方法实践者的职责。通过仔细的前测、严谨的数据诊断和透明的报告，排名选择设计有望帮助我们在有限的资源下，做出更稳健、更精确的因果推断。