NRI和IDI结果解读
一、分析方法概述
重分类改善指标(Net Reclassification Improvement,NRI)和综合判别改善指数(Integrated Discrimination Improvement,IDI)是评价预测模型改善效果的两个重要统计指标。NRI由Pencina等于2008年提出,用于量化新模型相对于旧模型在风险重分类方面的净改善程度,其核心思想是考察新模型是否将更多事件患者正确地向上重分类(预测概率提高)、同时将更多非事件患者正确地向下重分类(预测概率降低)。IDI同样由Pencina等提出,反映新模型在区分度上的综合改善,计算为新模型与旧模型预测概率之差在事件组和非事件组中的平均差异。当NRI和IDI均显著大于0时,说明新模型的预测能力较旧模型有实质性提升。本研究使用SPSSAU软件进行NRI和IDI分析,样本量为320例(阳性158例,阴性162例)。
在SPSSAU【实验/医学研究】模块选择【NRI和IDI】,按提示选择变量,操作如下图:
二、NRI和IDI总体结果
由表1可知,NRI值为31.489%(95%CI:9.954%~53.025%),z=2.866,p=0.004<0.05,达到统计学显著水平,说明相对旧模型,新模型的预测能力有显著提升。进一步分解来看,金标准为阳性组的NRI为25.316%(z=3.289,p=0.001),表明新模型在阳性事件中显著提高了正确预测的概率;金标准为阴性组的NRI为6.173%(z=0.787,p=0.431),虽然方向为正但未达到统计学显著水平,说明新模型在阴性非事件中的向下重分类改善幅度有限。
IDI值为0.056(95%CI:0.032~0.079),z=4.673,p=0.000<0.001,达到高度统计学显著水平。IDI显著大于0表明新模型在事件组的预测概率平均提高了0.056个单位,同时在非事件组的预测概率平均降低,综合判别能力较旧模型有实质性改善。NRI和IDI两项指标均显著为正,从不同角度一致证实了新模型预测能力的提升。
三、NRI中间计算过程
备注:阳性数量为158,阴性数量为162,cut值=0.000
由表2可知,NRI的计算基于四个中间值。在金标准为阳性的158例中,新模型正确将其预测概率提高的有99例(占62.658%),预测概率反而降低的有59例(占37.342%)。在金标准为阴性的162例中,新模型正确将其预测概率降低的有86例(占53.086%),预测概率反而升高的有76例(占46.914%)。
金标准阳性组的NRI=阳性确实偏阳性比例-阳性但偏阴性比例=62.658%-37.342%=25.316%,说明在阳性事件中,新模型正确向上重分类的比例显著高于错误向下重分类的比例。金标准阴性组的NRI=阴性确实偏阴性比例-阴性但偏阳性比例=53.086%-46.914%=6.173%,说明在阴性事件中,新模型的向下重分类改善幅度较小。整体NRI=25.316%+6.173%=31.489%,与表1结果一致。
四、IDI中间计算过程
由表3可知,IDI的计算基于两个中间值。阳性时预测提高值为0.040,表示在金标准为阳性的事件组中,新模型相对于旧模型的预测概率平均提高了0.040个单位,该值越大说明新模型对事件的识别能力改善越多。阴性时预测减少值为0.015,表示在金标准为阴性的非事件组中,新模型相对于旧模型的预测概率平均降低了0.015个单位,该值越大(绝对值)说明新模型对非事件的排除能力改善越多。IDI值=阳性时预测提高值-阴性时预测减少值=0.040-(-0.015)=0.056(注:此处阴性时预测减少值取负号),与表1结果一致。IDI的分解结果表明,新模型的预测改善主要来源于事件组预测概率的提升(0.040),非事件组预测概率的降低(0.015)也做出了部分贡献。
五、结论
本研究采用NRI和IDI两项指标评价新预测模型相对于旧模型的预测改善效果,样本量为320例(阳性158例,阴性162例)。结果显示:NRI值为31.489%(p=0.004),达到统计学显著水平,其中阳性组NRI=25.316%(p=0.001)贡献了主要改善,阴性组NRI=6.173%(p=0.431)改善幅度较小且未达显著。IDI值为0.056(p<0.001),同样达到高度显著水平,表明新模型的综合判别能力有实质性提升。两项指标从不同角度一致证实了新模型预测能力的显著改善,建议在实际应用中优先采用新模型。