pROC:用于R和S+分析和比较ROC曲线的开源包

背景

受试者工作特征(ROC)曲线是生物医学和生物信息学应用中评估分类器的有用工具。然而，结论往往是通过不一致的使用或不充分的统计分析得出的。为了支持研究人员在他们的ROC曲线分析，我们开发了pROC，一个R和S+包，包含一组工具显示，分析，平滑和比较ROC曲线在一个用户友好的，面向对象和灵活的界面。

结果

对于以前导入到R或S+环境中的数据pROC包构建ROC曲线，包括计算置信区间的函数，比较曲线下的总或部分面积或不同分类器的工作点的统计检验，以及平滑ROC曲线的方法。中间结果和最终结果在用户友好的界面中可视化。基于已发表的临床和生物标志物数据的案例研究显示了如何执行典型的ROC分析pROC．

结论

pROC是专门用于ROC分析的R和S+包。它提出了多种统计检验来比较ROC曲线，特别是曲线下的部分区域，允许正确的ROC解释。pROC有两种版本:R编程语言或S+统计软件的图形用户界面。可在http://expasy.org/tools/pROC/在GNU通用公共许可证下。它还通过CRAN和CSAN公共存储库进行分发，便于安装。

ROC图显示了具有连续或离散序数输出的二元分类方法的性能。它显示了当输出阈值在所有可能值的范围内移动时，灵敏度(正确分类的积极观测值的比例)和特异性(正确分类的消极观测值的比例)。ROC曲线不依赖于类别概率，便于在不同数据集之间进行解释和比较。它们最初是为探测雷达信号而发明的，但很快就被应用于心理学[1]和放射学等医学领域[2］．它们现在普遍用于医疗决策、生物信息学[3.]，数据挖掘和机器学习，评估生物标志物表现或比较评分方法[2，4］．

在ROC上下文中，曲线下面积(AUC)衡量分类器的性能，经常用于方法比较。AUC越高，分类越好。然而，在进行auc之间的比较时往往没有适当的统计分析，部分原因是缺乏提供此类测试的相关、可获得和易于使用的工具。如果ROC曲线强相关，则auc的微小差异可能是显著的，如果没有统计检验，两个auc可能被错误地标记为相似。相反，如Hanczar所示，在小样本中，较大的差异可能不显著et al。［5]，他们还提供了AUC的方差作为样本量的函数的分析表达式。我们最近发现，缺乏适当的统计比较是生物标记物作为医疗应用诊断工具接受度较低的潜在原因[6］．当性能评估只发生在高特异性或高敏感性区域时，用总AUC来评估分类器是不合适的[6］．为了解释这些情况，引入部分AUC (pAUC)作为局部比较方法，只关注ROC曲线的一部分[7- - - - - -9］．

ROC分析软件已经存在。以前的回顾[10]比较了8个ROC程序，发现需要一种具有良好数据导入和绘图功能的工具来执行有效和标准化的统计检验。

字母R [11和S+ (TIBCO Spotfire S+ 8.2, 2010, Palo Alto, CA)统计环境提供了一个可扩展的框架，可以在其上构建软件。在S+中还没有实现ROC工具，但有四个R包可以计算ROC曲线:

1. 1）

   ROCR［12]提供了通过精度/召回图、提升图、成本曲线以及ROC图和auc来计算预测性能的工具。ROC分析支持置信区间(CI)，但用户必须提供引导曲线。

2. 2）

   的验证包(13]不是专门针对ROC分析的;尽管如此，它可以绘制ROC曲线，计算AUC和平滑的ROC曲线与二项式模型。也实现了单个ROC曲线的Wilcoxon检验，但不包括比较两条ROC曲线的检验。

3. 3）

   Bioconductor包括中华民国包(14]，只能计算AUC和绘制ROC曲线。

4. 4）

   Pcvsuite [15是ROC曲线的高级包，具有协变量调整和ROC回归等高级功能。它最初是为Stata设计的，并移植到R上。它在CRAN(综合R存档网络)上不可用，但可以从Windows和MacOS上下载http://labs.fhcrc.org/pepe/dabs/rocbasic.html．

表格1总结这些包之间的差异。只有pcvsuite能够对两条ROC曲线进行统计比较。Pcvsuite、ROCR和ROC可以计算AUC或pAUC，但pAUC只能定义为特异性的一部分。

的pROC包的设计是为了便于ROC曲线分析，并应用适当的统计检验进行比较。它提供了一组一致且用户友好的函数，用于构建和绘制ROC曲线，几种平滑曲线的方法，在任何特异性或敏感性范围内计算全部或部分AUC，以及计算和可视化各种ci。它包括两条ROC曲线的统计比较检验，以及它们的auc和pauc。该软件提供了大量的文档，并依赖于底层的R和S+系统进行数据输入和绘图。最后，为不熟悉编程的用户开发了S+图形用户界面(GUI)。

AUC和pAUC

在pROC， ROC曲线为敏感性和特异性空间的经验曲线。auc是用梯形计算的[4］．将该方法推广到pAUCs中，忽略局部范围外的梯形，必要时通过线性插值增加局部梯形。pAUC区域可以定义为特异性的一部分，如McClish最初描述的[7]，或作为敏感性的一部分，这是蒋后来提出的et al。［8］．曲线的任意一段pAUC(t₀t₁)可以进行分析，而不仅仅是100%特异性或100%敏感性的部分。可选地，pAUC可以用McClish [7]：

在哪里最小值是对角线ROC曲线相同区域上的pAUC，和马克斯为完美ROC曲线相同区域上的pAUC。结果是标准化的pAUC，对于完美的ROC曲线总是1，对于非判别的ROC曲线总是0.5，无论定义的部分区域是什么。

比较

如果两条ROC曲线来自同一样本的多次测量，则它们被称为“配对”(有时在文献中称为“相关”)。有几个测试可以比较成对的[16- - - - - -22]或未配对的[23ROC曲线。比较可基于AUC [16- - - - - -19，21]， ROC形状[20.，22，23]，一个给定的特异性[15]或信心带[3.，24］．中实现了几个测试pROC．其中三个是在没有文献修改的情况下实现的[17，20.，23]，其他则基于自举百分位数法。

比较AUC或pAUC的自举测试pROC实现了最初由Hanley和McNeil描述的方法[16］．他们定义Z为

在哪里θ₁而且θ₂是两个(部分)auc。不像汉利和麦克尼尔，我们计算sd（θ₁-θ₂)使用N个(默认为2000)引导复制。在每个复制中r时，对原始测量值进行重新采样并进行替换;建立与新样本相对应的两个新的ROC曲线，即重新采样的aucθ_1，r而且θ_2，r以及它们的区别D_r＝θ_1，r-θ_2，r计算。最后，我们计算sd（θ₁-θ₂) =sd（D)．由于Z近似服从正态分布，因此可以相应地计算单尾或双尾p值。这种自举测试非常灵活，可以应用于AUC, pAUC和平滑的ROC曲线。

Bootstrap默认情况下是分层的;在这种情况下，每次自举复制将选择与原始样本相同数量的病例和对照观察。可以禁用分层，观察结果将被重新采样，而不管它们的类标签是什么。方法处理引导和进度条的重复plyr包(25］．

第二种方法是比较中实现的aucpROC由DeLong等人开发。[17基于u -统计理论和渐近正态性。由于该测试不需要自举，因此运行速度明显较快，但不能处理pAUC或平滑的ROC曲线。对于两项试验，由于方差依赖于ROC曲线的协方差(公式3)，强相关的ROC曲线可以具有相似的AUC值，但仍有显著差异。

文卡特拉曼和乞丐[20.]和Venkatraman [23]引入了比较两个实际ROC曲线与各自auc的测试。他们的方法评估了两条ROC曲线之间的综合绝对差异，并生成了一个排列分布来计算这种差异的统计显著性。由于导致两条ROC曲线的测量可能在不同的尺度上进行，因此在两个样本之间通常不能交换。因此，排列是基于等级的，等级被重新计算，如[20.来打破由排列产生的联系。

最后，按照Pepe提出的方法，在给定的特异性或敏感性水平上进行基于bootstrap的测试，以比较ROC曲线et al。［15］．它的工作原理类似于(p)AUC测试，但不是在每次迭代中计算(p)AUC，而是计算与给定特异性(或分别敏感性)对应的灵敏度(或特异性)。这种测试相当于一个非常小的pAUC范围的pAUC测试。

置信区间

ci用Delong的方法计算[17]用于auc，并用于pac的bootstrap [26］．阈值或灵敏度和特异性值的ci是通过自举重采样和Fawcett描述的平均方法来计算的。4］．在所有自举ci中，患者重新采样并在计算感兴趣的统计量之前构建修改曲线。与在自举比较测试中一样，默认情况下以分层方式进行重新采样。

平滑

本文还实现了几种平滑ROC曲线的方法。副正态平滑依赖于存在单调变换的假设，使case值和control值均为正态分布[2］．在此条件下，正常分位数函数(φ)敏感性和特异性的数值。在我们的实现中，所有分位数值之间的线性回归定义一个而且b，然后定义平滑曲线。

这与Metz等人所描述的方法不同。[27的最大似然估计一个而且b．副法线平滑之前被证明是稳健的，并且在许多情况下即使与基本假设的偏差相当大时也能提供良好的拟合[28］．对于连续数据，我们还包括核(密度)平滑方法[29]，或拟合各种已知的分布与类密度fitdistr在MASS包内[30.］．如果用户想运行一个自定义平滑算法，对分析的数据进行优化，那么pROC也接受类密度或自定义平滑函数作为输入。平滑auc的CI和统计检验是用自举法完成的。

我们首先评估ROC比较检验的准确性。附加文件中的结果1表明所有未配对检验在零假设下给出统一的p值(附加文件)1而且2)，并且DeLong的和引导测试之间有很好的相关性(附加文件1而且3.)．Venkatraman's和其他测试之间的关系也进行了研究(附加文件1而且4)．

我们现在介绍如何执行一个典型的ROC分析pROC．在最近的研究中[31]，我们分析了动脉瘤性蛛网膜下腔出血(aSAH)患者入院时血液中几种生物标志物的水平，以预测6个月的预后。收集的141例患者根据其结局用标准神经量表格拉斯哥结局量表(GOS)进行分类。生物标志物的表现与入院时获得的世界神经外科医生联合会(WFNS)成熟的神经量表进行了比较。

临床aSAH资料的个案研究

这里介绍的病例的目的是确定患者在asah后预后不良的风险，因为他们需要特定的医疗保健管理;因此，临床试验必须具有高度的特异性。研究的详细结果载于[31］．我们只概述了与ROC分析相关的特征。

ROC曲线生成于pROC5个生物标志物(H-FABP, S100β，肌钙蛋白I, NKDA和UFD-1)和3个临床因素(WFNS，改良Fisher评分和年龄)。

AUC和pAUC

由于我们对具有高特异性的临床试验感兴趣，因此我们重点研究了特异性在90%至100%之间的部分AUC。

WFNS的pAUC最好，为3.1%，其次是S100β，为3.0%(图1)．在同一区域内，完美的临床试验对应的pAUC为10%，而没有任何辨别能力的ROC曲线仅为0.5%。在WFNS的情况下，我们用McClish公式(公式1)计算出标准化的pAUC为63.7%。在这63.9%中，50%是由于ROC曲线的一小部分(0.5%非标准化)在标识线以下，其余13.9%是由曲线以上的较大部分(2.6%非标准化)组成。在R版本中pROC时，可计算WFNS的标准化pAUC:

roc(response = aSAH$outcome, predictor = aSAH$wfns, partial。一个uc = c(100, 90), partial.auc.correct = TRUE, percent = TRUE)

在本文的其余部分，我们只报告了未标准化的pauc。

CI

考虑到WFNS的pAUC，计算pAUC的95% CI来评估测量的可变性是有意义的。在本例中，我们执行了10000次自举复制，并获得了1.6-5.0%的间隔。根据我们的经验，10000个重复可以合理地估计第二个有效数字。较低的重复数量(例如默认值为2000)只能很好地估计第一个有效数字。可以计算其他置信区间。用pROC确定在指定区域内距离对角线最远的点的阈值为4.5坐标函数。可以计算出矩形置信区间，其特异性范围为80.9 -98.9，敏感性范围为26.0-54.01)．如果认为90%特异度的灵敏度变异性比特定阈值更相关，则灵敏度区间计算为32.8-68.8。如图所示1对于S100β，可以通过简单地计算几个恒定间隔的特异性水平上的灵敏度CI值来获得CI形状，然后将这些CI边界连接起来以生成形状。下面的R代码计算置信形状:

plot(x = roc(response = aSAH$outcome, predictor = aSAH$s100， % = TRUE, ci = TRUE, of =" se"， sp = seq(0,100,5))， ci.type="shape")

阈值或预定义的敏感性或特异性水平的置信区间回答了不同的问题。例如，计算阈值4.5的CI，只报告敏感性的CI界限，而不报告特异性的CI界限，这是错误的。同样，确定截断值4.5的敏感性和特异性，然后分别计算两个ci也是不准确的。

统计比较

其次是S100β，为3.0%。与WFNS的差值非常小pROC表示不显著(p = 0.8，图1)．令人惊讶的是，Venkatraman检验(在整个ROC曲线上)表明ROC曲线的形状存在差异(p = 0.004)，实际上，在高敏感性区域(90-100%敏感性)评估pAUCs的试验将突出显着差异(p = 0.005, WFNS和S100β的pAUC分别为4.3和1.4)。然而，由于我们对AUC的高敏感性区域不感兴趣，所以WFNS和S100β之间没有显著差异。

在pROC实现了ROC曲线的两两比较。多次测试未计算在内，如果进行多次测试，应提醒用户，与任何统计测试一样，多次测试应谨慎进行，必要时应进行适当的修正[32］．

引导测试可以在R中使用以下代码执行:

中华民国。test(response = aSAH$ result, predictor1 = aSAH$wfns, predictor2 = aSAH$s100, partial。auc = c(100,90)， % = TRUE)

平滑

是否平滑ROC曲线是一个困难的选择。它可以用于只有几个点的ROC曲线，其中梯形规则始终低估了真正的AUC [17］．这是大多数临床评分的情况，如图中所示的WFNS2哪里有三种平滑方法可用pROC绘制:(i)正态分布拟合，(ii)密度和(iii)副正态。在我们的案例研究中:

1. (我)

   正常拟合(红色)给出了显著较低的AUC估计值(Δ = -5.1, p = 0.0006, Bootstrap检验)。这种差异是由于WFNS的非正态性。当对底层分布有明确的了解时，分布拟合可能非常强大，但在其他上下文中应该避免。

2. (2)

   密度(绿色)平滑也产生较低的(Δ = -1.5, p = 6*10⁷AUC)。有趣的是，即使auc的差异较小，由于协方差较高，p值也可能更显著。

3. (3)

   副正态平滑(蓝色)给出的AUC略高于经验ROC曲线(Δ = +2.4, p = 0.3)。在这种情况下，这可能是3个平滑估计中最好的(如前所述，由于WFNS的经验AUC被低估，我们预计AUC会更高)。为了进行比较，请参阅附加文件5显示我们在pcvsuite中实现的副法线平滑[15］．

数字3.演示如何使用创建具有多个平滑曲线的图形pROC在S +。一个在S+中加载pROC库，选择新的ROC曲线S项tatistics菜单，选择要对其执行分析的数据，然后移动到平滑TAB键设置平滑参数。

结论

在这个案例研究中，我们展示了如何做到pROC可进行ROC分析。从该分析中得出的主要结论是，没有一种测量的生物标志物能比神经评分(WFNS)更好地预测患者的预后。

安装及使用

R

pROC可以通过在提示符中发出以下命令来安装在R中:

install.packages(“pROC”)

装载包:

库(触发)

得到帮助:

pROC ?

S +

pROC可从文件菜单项发现包……．它可以从文件菜单项装载库……

除了命令行功能之外，还可以在统计数据菜单。它具有一个用于单变量ROC曲线的窗口(其中包含平滑、pAUC、ci和绘图的选项)和两个用于两条ROC曲线的成对和非成对测试的窗口。此外，还可以从同一菜单中获得用于GUI的特定帮助文件。

函数和方法

表中显示了pROC命令行版本中可供用户使用的功能的摘要2．表格3.显示绘图和打印所提供的方法列表。

的pROCpackage是一套分析和比较R和S+中的ROC曲线的强大工具。不像现有的包，如ROCR或验证，它完全致力于ROC分析，但提供了我们所知的最完整的一套统计测试和ROC曲线图。如本文报告的案例研究所示，pROC其特点是AUC和pAUC的计算，各种置信区间，几种平滑方法，以及两个成对或非成对ROC曲线的比较。我们相信pROC应该为研究人员，特别是生物标志物社区的研究人员提供必要的工具，以更好地解释他们在生物标志物分类研究中的结果。

pROC有R和S+两个版本。以标准R格式提供了包含大量示例的完整文档。对于不熟悉编程的用户，为S+提供了图形用户界面。

• 项目名称:pROC

• 项目首页:http://expasy.org/tools/pROC/

• 操作系统:独立于平台

• 编程语言:R和S+

• 其他要求:R≥2.10.0或S+≥8.1.1

• 许可:GNU GPL

• 对非学者使用的任何限制:没有

aSAH表示:

动脉瘤性蛛网膜下腔出血

AUC:

曲线下面积

置信区间:

置信区间

凹口:

综合R档案网络

CSAN:

全面的S-PLUS档案网络

pAUC:

曲线下的部分面积

中华民国:

接收机工作特性。

作者要感谢E. S. Venkatraman和Colin B. Begg在测试实施过程中的支持。

这项工作得到了Proteome Science Plc的支持。

作者及隶属关系

1. 瑞士日内瓦医科大学中心结构生物学和生物信息学系生物医学蛋白质组学研究组

   Xavier Robin, Natacha Turck, Alexandre Hainard, Natalia Tiberti和Jean-Charles Sanchez

2. 瑞士日内瓦医科大学中心瑞士生物信息学研究所

   Frédérique Lisacek & Markus Müller

相应的作者

对应到泽维尔罗宾或马库斯·穆勒．

作者的贡献

XR进行了编程和软件设计，并起草了手稿。NTu, AH, NTi提供了数据和生物学知识，测试并严格审查了软件和手稿。FL帮助起草并批判性地改进了手稿。JCS构思了生物标志物研究，参与了其设计和协调，并帮助起草了手稿。MM参与了研究生物信息学部分的设计和协调，参与了编程和软件设计，并帮助起草了手稿。所有作者都阅读并批准了最终的手稿。

本文由BioMed Central Ltd授权发布。这是一篇开放获取文章，根据创作共用属性许可协议(http://creativecommons.org/licenses/by/2.0)，允许在任何媒介上不受限制地使用、传播和复制，前提是正确地引用原始作品。

转载及权限