加权Cohen's Kappa系数是专门用于有序分类标注场景（比如1-5分质量打分、严重/一般/轻微/无错误这类有等级顺序的标注）的一致性衡量指标，相比普通Cohen's Kappa，它会给不同程度的打分分歧赋予不同权重，更贴合标注场景的实际业务逻辑。以下是完整计算步骤，结合之前的客服标注场景举例说明：
一、前置准备
设：
- 两名标注者独立标注的样本总数为N
- 标注的有序类别总数为k（比如1-5分打分场景下k=5）
- 构建k×K的混淆矩阵O，其中元素Oij表示标注者A给样本打类别ii、标注者B给同一样本打类别jj的样本数量，矩阵对角线元素Oii代表两名标注者打分完全一致的样本数。
二、第一步：定义分歧权重矩阵
加权Kappa的核心是给不同程度的打分分歧赋予对应权重，常用两种权重方案：
- 线性权重：分歧程度和打分差值成正比，差值越大权重越高
- 二次权重：分歧程度和打分差值的平方成正比，对大分歧的惩罚更重，是标注场景最常用的方案
其中wij是混淆矩阵中第ii行第jj列位置的分歧权重，完全一致的对角线位置wii=0wii=0，打分差值越大，wijwij越接近1，代表分歧越严重。
举个5分制标注的例子：两个标注者给同一样本打5分和4分，差值为1，二次权重为1/(5−1)2=0.0625；如果一个打5分、一个打1分，差值为4，二次权重为16/16=1，代表这是最严重的分歧。
三、第二步：计算观测加权不一致率Po
观测不一致率是实际标注结果中，所有分歧的加权总和占总样本的比例：
其中分子是所有样本的分歧权重之和，除以总样本数得到实际观测到的加权不一致比例。
四、第三步：计算随机期望加权不一致率Pe
随机期望不一致率是假设两名标注者完全独立、随机打分时，理论上会出现的加权不一致比例：
- 先计算两名标注者的边际分布：
- 标注者A打类别ii的总样本数：
- 标注者B打类别jj的总样本数：
- 标注者A打类别ii的总样本数：
- 计算随机情况下每个(i,j)(i,j)位置的期望样本数：
- 最终计算随机期望加权不一致率：
五、第四步：计算最终加权Cohen's Kappa系数
κw=1−Po / Pe
六、结果解读标准
和普通Cohen's Kappa的解读标准一致，加权Kappa的取值范围为-1~1：
- κw≥0.8：标注一致性优秀，人工金标准可信度极高
- 0.6≤κw<0.8：标注一致性良好，可用于常规校准场景
- 0.4≤κw<0.6：标注一致性中等，需要重新对齐打分规则
- κw<0.4：标注一致性较差，打分标准存在严重分歧，必须重新标注
补充说明：当所有分歧权重wij在i≠j 时都取1时，加权Kappa就退化为普通Cohen's Kappa，也就是只统计“完全一致/不一致”，不区分分歧的严重程度，仅适用于无序分类场景。
图中样本50条打分情况；帮忙计算所有分歧的加权总和占总样本的比例；标注者A（=质检i列）打类别 i的总样本数：标注者B（=质检j列）打类别j的总样本数 每个(i,j)位置的期望样本数； 最终计算随机期望加权不一致率：
📊 50条样本加权Kappa全量计算结果
本次计算基于图片中完整的50条双盲标注打分数据，采用二次权重规则完成全流程推导。
📋 基础样本信息
- 总样本数 N=50
- 打分等级范围：1~5分，共 k=5 个有序类别
- 标注者A对应表格第二列（质检i列），标注者B对应表格第三列（质检j列）
- 分歧权重规则：采用二次权重 wij=(i−j)2 / (k−1)2，完全一致时权重为0，打分差值越大惩罚权重越高。
🔍 观测加权不一致率 PoPo 计算
统计所有样本的打分差值，计算所有分歧的加权总和：
- 完全一致样本共27条，分歧权重全部为0
- 差值为1的样本共13条，单样本权重为 1/16=0.0625，加权总分歧为 13×0.0625=0.8125
- 差值为2的样本共7条，单样本权重为 4/16=0.25，加权总分歧为 7×0.25=1.75
- 差值为3的样本共2条，单样本权重为 9/16=0.5625，加权总分歧为 2×0.5625=1.125
- 差值为4的样本共1条，单样本权重为 16/16=1，加权总分歧为 1×1=1
所有分歧的加权总和为 0.8125+1.75+1.125+1=3.6875
观测加权不一致率：
Po=3.6875 / 50=0.07375
📈 标注者边际分布统计
统计两名标注者各分数段的总样本数：
表格
| 分数i | 标注者A打类别i的总样本数 Ri | 标注者B打类别j的总样本数 Cj |
|---|---|---|
| 1 | 2 | 3 |
| 2 | 7 | 8 |
| 3 | 10 | 9 |
| 4 | 18 | 17 |
| 5 | 13 | 13 |
🧮 期望样本数与随机期望加权不一致率 PePe
计算每个(i,j)位置的期望样本数 Eij=Ri×Cj / N，结合二次权重计算加权总和：
最终随机场景下的加权分歧总和为10.71
随机期望加权不一致率：
Pe=10.71 / 50=0.2142
✅ 最终加权Cohen's Kappa结果
代入公式计算最终系数：
κw=1−（Po / Pe）=1−（0.07375 / 0.2142）≈0.656
本次标注一致性处于良好区间，符合人工金标准的基础校准要求。
