DCA曲线

众所周知,比较分类模型之间的差异可以参考很多指标,比如混淆矩阵及其计算而来的准确率、召回率和查全率,NRI和IDI等指标,还可以参考ROC曲线,今天我们介绍一种比ROC曲线还要好的模型评估方法——DCA曲线。

1、功能介绍

DCA是一种评估临床预测模型、诊断试验和分子标记物的简单方法。传统的诊断试验指标如:敏感性,特异性和ROC曲线下面积仅测量预测模型的诊断准确性,未能考虑特定模型的临床效用,而 DCA的优势在于它将患者或决策者的偏好整合到分析中。这种理念的提出满足了临床决策的实际需要,在临床分析中的应用日益广泛。

2、侧重点

准确率、召回率和查全率等指标刻画了模型在整体预测、单类预测上的效果,NRI和IDI指标描述的是新旧模型的全局改善程度,ROC是从特异性和敏感性考虑,追求的是准确,而且AUC在模型差别较小时没有明显差别,不容易进行模型微调的前后对比。但临床上,准确并不直接代表病患的受益。

通过某个指标判别患者是否患了某病,无论选取哪个值为临界值,都会遇到假阳性和假阴性的可能,但这两种情况无法同时避免,想要找到一个净受益最大的办法,就是个临床效用的问题。

3、案例分析

以这篇文章于2016年发表在JOURNAL OF CLINICAL ONCOLOGY杂志(IF=44.544)上的,该研究的目的是建立和验证一个放射组学列线图,该列线图结合了放射组学特征和临床病理危险因素,用于大肠癌患者术前预测淋巴结转移。

我们看出在决策曲线中,图中的两条曲斜线分别代表两种不同的临床诊断模型,除此之外,还有两条线,它们代表两种极端情况。即绿线代表所有患者都有淋巴结转移的假设;细黑线代表假设没有患者有淋巴结转移。粉红色的线代表放射诊断学列线图。蓝线代表增加了组织学等级的模型。

决策曲线显示,如果病人或医生的阈值概率大于10%,使用当前研究中的放射组学列线图预测淋巴结转移比治疗所有患者方案或不治疗方案增加更多益处。

例如,如果患者的个人阈值概率为60%,那么当使用放射组学列线图来决定是否接受治疗时,净效益为0.145,比全部治疗方案或不治疗方案具有额外的效益。根据放射组学列线图和整合组织学分级的模型,净效益具有可比性,但有几处重叠。

4、平台操作

点击医学统计模型->DCA曲线,对数据进行建模,选择因变量和两个模型,可以输出相应的两个模型的DCA曲线,可以看到蓝线比红线的曲线下面积大,净收益更高。横线表示在任何阈概率下都不采取干预的净收益,斜线表示始终采取干预的净收益。