证据的分级质量和推荐的强度
BMJ2004；328doi:https://doi.org/10.1136/bmj.328.7454.1490(2004年6月17日出版)引用如下:BMJ328:1490 2004;
摘要
临床实践指南和其他建议的使用者需要知道他们对这些建议有多大的信心。系统和明确的判断方法可以减少错误和改善沟通。我们开发了一个系统，用于对证据的质量和建议的强度进行分级，可以在广泛的干预措施和背景下应用。在本文中，我们从指南用户的角度总结了我们的方法。关于建议强度的判断需要考虑利弊之间的平衡、证据的质量、将证据转化为具体情况以及基线风险的确定性。在提出建议之前，考虑成本(资源利用)也很重要。对证据质量和建议强度进行分级的系统之间的不一致，降低了它们促进批判性评估和改善这些判断的交流的潜力。我们指导这些复杂判断的制度在简单的需要和对所有重要问题进行充分和透明审议的需要之间取得了平衡。
临床指南的有效性取决于它们所依据的证据和判断。GRADE方法的目的是让用户更容易评估推荐背后的判断
关于证据和建议的判断是复杂的。例如，考虑在选择性血清素再摄取抑制剂和三环抗抑郁药之间选择治疗中度抑郁症。临床医生必须决定考虑哪些结果，每种结果应包括哪些证据，如何评估这些证据的质量，以及如何确定与三环类药物相比，选择性血清素再摄取抑制剂是否利大于弊。因为资源总是有限的，花在选择性血清素再摄取抑制剂上的钱不能用在其他地方，他们可能还需要决定任何增加的健康效益是否值得额外的成本。
对于临床医生和患者来说，在没有辅助的情况下对每个临床决策做出这些判断是不现实的。临床医生和患者通常使用临床实践指南作为支持的来源，也就是说，由一组人系统地提出的建议，他们可以获得可用的证据，了解临床问题和研究方法，并有足够的时间进行思考。
系统制定的指南的使用者需要知道他们对证据和建议有多大的信心。我们描述了我们的信心应该基于的因素，以及在临床实践指南或其他医疗保健建议中做出复杂判断的系统方法，或含蓄或明确。为了简化我们的演示，我们没有讨论所有的细微差别，也没有提供指导小组应用我们的方法所需的详细指导。可从作者(www.gradeworkinggroup.org）.
采用系统而明确的方法对证据的质量和建议的强度作出判断，有助于防止错误，促进对这些判断的批判性评估，并有助于改善这一信息的交流。自20世纪70年代以来，越来越多的组织采用各种系统来评估证据的质量(水平)和建议的强度。1- - - - - -28不幸的是，不同的组织使用不同的系统来评估证据的质量和建议的强度。同样的证据和建议可以被分级为II-2, B;C + 1;或强有力的证据，强烈建议取决于使用的系统。这是令人困惑的，阻碍了有效的沟通。
GRADE工作组最初是一个非正式的合作，由对解决现行评分系统缺陷感兴趣的人组成。表1总结了这些缺点以及我们是如何克服它们的。GRADE系统能够做出更加一致的判断，这种判断的交流可以支持在医疗保健中做出更明智的选择。方框1显示了从确定问题的优先次序到评估其执行情况，制定和实施准则的步骤。我们在这里的重点是对证据的质量和建议的强度进行分级。
定义
我们使用了以下定义:证据的质量表明人们可以在多大程度上相信对效果的估计是正确的。一个建议的强度表明了一个人可以在多大程度上相信坚持这个建议是利大于弊的。
对证据质量的判断需要对重要结果的个别研究结果的有效性进行评估。在做出这些判断时，应该使用明确的标准。2629- - - - - -32在我们的方法中，遵循这些判断的步骤是对以下内容进行顺序判断:
研究中每个重要结果的证据质量
哪些结果对决策至关重要
这些关键结果的证据的整体质量
利益和伤害之间的平衡
推荐的强度。
所有这些判断都取决于有一个明确定义的问题，并考虑到所有可能对受影响的人很重要的结果。这个问题应该确定哪些选择正在被比较(例如，选择性血清素再摄取抑制剂和三环抗抑郁药)，为谁(中度抑郁的成年患者)，以及在什么情况下(英国的初级保健)。
方框1:制定指导方针的顺序过程
1.建立过程-例如，确定问题的优先级，选择一个小组，宣布利益冲突，并就小组流程达成一致
预备步骤
2.系统综述-第一步是对所有重要结果的最佳可用证据进行识别和批判性评估或准备系统综述
3.准备重要结果的证据概况根据系统综述的结果，需要对每个亚人群或风险组进行简介，并应包括质量评估和调查结果摘要
证据的分级质量和推荐的强度
4.每个结果的证据质量-根据证据概要中总结的信息和表2中的标准判断
5.结果的相对重要性-只有重要的结果才应包括在证据概要中。所包含的结果应该被分类为对决策至关重要的(但不是至关重要的)
6.证据的整体质量证据的总体质量应根据任何关键结果的最低证据质量来判断。
7.利益与伤害的平衡-收益和危害的平衡应根据重要的健康收益和危害划分为净收益、权衡、不确定权衡或无净收益
8.净收益与成本的平衡-增加的健康效益是否物有所值?因为资源总是有限的，所以在提出建议时，考虑成本(资源利用)是很重要的
9.〇推荐力度建议的制定应该反映出它们的力量——也就是说，在多大程度上，人们可以确信遵守建议利大于弊
后续步骤
10.实施和评估-例如，使用有效的实施策略来解决改变的障碍，评估实施情况，并保持最新
每个重要结果的证据质量
对现有证据的系统审查应指导这些判断。审稿人应考虑四个关键因素:研究设计、研究质量、一致性和直接性。
研究设计
研究设计是指基本研究设计，我们大致分为观察性研究和随机试验。逻辑论证和经验证据都支持这一点。33- - - - - -36虽然观察性研究的结果通常与随机试验的结果相似，但情况并非总是如此。这种差异的一个戏剧性例子是，观察性研究的不同结果表明，激素替代疗法降低了冠心病的风险，而随后的随机试验发现，风险没有降低，甚至增加了风险。3738不幸的是，事先不可能知道观察性研究是否准确地预测了后续随机试验的结果。一旦高质量随机试验的结果可用，很少有人会主张继续根据结果不一致的非随机试验提出建议。
另一方面，随机试验并不总是可行的，在某些情况下，观察性研究可能提供更好的证据，因为通常情况下很少有不良反应。此外，随机试验的结果可能并不总是适用的——例如，如果参与者是高度选择的，并且相对于感兴趣的人群有积极性。因此，必须考虑研究质量、各研究结果的一致性、证据的直接性以及研究设计的适当性。因此，例如，精心设计的病例系列可能为手术或手术的并发症发生率提供高质量的证据，例如术中死亡或结肠镜检查后穿孔，这比随机试验的证据更直接相关。同样，队列研究可以为假阳性筛查结果导致的召回率或程序提供高质量的证据，例如乳房x光检查后的活检率。
研究质量
学习质量是指详细的学习方法和执行。审稿人应使用适当的标准来评估每个重要结果的研究质量。2629- - - - - -32例如，对于随机试验，审稿人可能使用诸如分配隐藏的充分性、盲法和随访等标准。审查员应该明确他们降低质量等级的原因。例如，他们可能会说，未能对患者和医生进行盲视，降低了干预措施对疼痛严重程度影响的证据质量，他们认为这是一个严重的限制。
一致性
一致性是指各研究对效果估计的相似性。如果结果中存在重要的无法解释的不一致，我们对结果的效果估计的信心就会降低。效果方向的差异、效果差异的大小以及差异的重要性(不可避免地有些武断)指导着关于是否存在重要的不一致的决定。当研究人员对不一致做出令人信服的解释时，应该对不同亚组的影响程度进行单独估计。例如，颈动脉内膜切除术对高级别和低级别狭窄的影响的差异应该导致对这两个亚组的单独估计。
直率
直接性是指受试者、干预措施和结果测量与感兴趣者相似的程度。例如，如果研究对象比研究对象年龄更大、体弱多病或有更多共病，则证据的直接性可能存在不确定性。39为了确定重要的不确定性是否存在，我们可以询问是否有令人信服的理由期望在效应的大小上存在重要差异。由于许多干预措施在大多数患者群体中具有或多或少相同的相对效果，我们不应该在决定证据是否直接时采用过于严格的标准。对于某些治疗方法，例如文化差异可能很重要的行为干预，更严格的标准可能是合适的。
同样，审稿人可能会对与研究中不同但属于同一类别的药物的直接证据存在不确定性。其他类型的干预措施也存在类似的问题。例如，你能否将结果概括为一项研究中使用的强度较低的咨询干预，或一种替代手术技术?这些判断可能很难，40对调查人员来说，解释他们得出结论的基本原理是很重要的。
另一方面，使用替代结果的研究通常比使用对人们重要的结果的研究提供的直接证据要少。因此，在考虑替代结果证据的直接性时，使用更严格的标准是谨慎的。基于替代结果的间接证据的例子，随后的试验表明具有误导性，包括抑制心肌梗死患者的心律失常，作为死亡率的替代，41作为冠心病替代品的脂蛋白变化37以及绝经后妇女的骨密度作为骨折减少的替代品。42
诊断测试的准确性也可以替代可能受到准确诊断影响的重要结果，包括适当治疗改善健康结果和减少假阳性结果的危害。在考虑诊断准确性研究的研究设计时，必须使用不同的标准。然而，考虑证据的直接性是基于我们对被正确分类(真阳性或阴性)或不正确分类(假阳性或阴性)与其重要后果之间关系的信心程度。例如，来自精心设计的研究的一致证据表明，在诊断疑似急性尿石症时，非造影剂螺旋ct假阴性结果比静脉肾盂造影少。43然而，这是否会对健康产生重大影响还存在很大的不确定性。44正因为如此，这一证据的质量可能被认为是低的建议。
另一种类型的间接证据出现时，没有干预措施的直接比较，调查人员必须在各个研究之间进行比较。例如，如果有随机试验比较选择性血清素再摄取抑制剂与安慰剂、三环类药物与安慰剂，但没有试验比较选择性血清素再摄取抑制剂与三环类药物，就会出现这种情况。间接比较总是比直接比较留下更大的不确定性，因为研究之间的所有其他差异都可能影响结果。45
结合四个部分
每个主要结果的证据质量可以在考虑上述每个因素后确定:研究设计、研究质量、一致性和直接性。我们的方法最初将基于研究设计的证据分为随机试验和观察性研究(队列研究、病例对照研究、间断时间序列分析以及前后对照研究)。然后，我们建议考虑这些研究是否有严重的局限性，结果中是否存在重大的不一致性，或者证据的直接性是否存在不确定性(框2)。我们建议在对证据质量进行分级时采用以下定义:
高进一步的研究不大可能改变我们对效应估计的信心。
温和的进一步的研究可能会对我们对效果估计的信心产生重要影响，并可能改变估计。
低进一步的研究很可能会对我们对效果估计的信心产生重要影响，并有可能改变估计。
非常低的对效果的任何估计都是不确定的。
研究质量的限制、结果的重要不一致性或证据的直接性的不确定性会降低证据的等级。例如，如果所有可用的研究都有严重的局限性，分数将下降一个等级，如果所有研究都有非常严重的局限性，分数将下降两个等级。有致命缺陷的研究可能会被排除在外。
可能降低证据质量的其他考虑因素包括数据不精确或稀疏(框3)和报告偏倚的高风险。可以提高证据质量的其他考虑因素包括:
一个非常强的相关性(例如，与选择性血清素再摄取抑制剂相比，三环抗抑郁药中毒死亡的风险是前者的50倍，见表2)或强关联(例如，不戴头盔的骑车人头部受伤的风险比戴头盔的骑车人高出三倍47）
剂量反应梯度的证据，或者
所有似是而非的残余混杂的存在会降低所观察到的效应。(例如，在比较营利性医院和非营利性医院死亡率的研究中，未经调整的合理解释因素会降低观察到的效果。48因此，盈利性医院死亡风险更高的证据更有说服力。)
这些考虑是累积的。例如，如果随机试验既存在严重的局限性，又对证据的直接性存在不确定性，那么证据的等级就会从高下降到低。
同样的规则也应适用于对危害和利益证据质量的判断。重要的貌似合理的伤害可以而且应该包括在证据摘要中，通过考虑使其貌似合理的间接证据。例如，如果存在与黑色素瘤筛查相关的焦虑，但没有发现直接证据，则考虑其他类型筛查的研究证据可能是合适的。
对跨研究的重要结果的证据质量的判断可以而且应该在系统评价的背景下做出，例如科克伦评价。对证据的整体质量、权衡和建议的判断通常需要审查结果之外的信息。
证据的整体质量
其他系统通常根据干预措施的益处的证据质量对证据的总体质量进行判断。当不良反应的风险对判断至关重要，而关于该风险的证据弱于益处的证据时，忽视危害风险的不确定性是有问题的。我们建议，对决策至关重要的任何结果的最低证据质量应作为评估证据总体质量的基础。
重要但不关键的结果应包括在证据概要中，并在对健康益处和危害之间的平衡作出判断时应予以考虑，但在对证据的总体质量进行分级时不应予以考虑。决定一个结果是否重要，重要但不重要，或者不重要是一种价值判断。这些判断应尽可能考虑到那些因遵守后来的建议而受到影响的人的价值观。
框3:不精确或稀疏数据
定义不精确或稀疏数据没有经验依据。两种可能的定义是:
如果结果只包括少数事件或观察，并且它们没有信息，则数据是稀疏的
如果置信区间足够宽，以至于估计与重要危害或重要益处一致，则数据是不精确的。
这些不同的定义会导致不同的判断。虽然可能无法调和这些差异，但在考虑是否因数据不精确或稀疏而降低证据质量时，我们提供以下指导:
当只有一项研究时，考虑数据不精确或稀疏的阈值应该较低。如果一项研究样本量小(或事件很少)，在潜在的危害和益处之间产生广泛的置信区间，则应被认为是不精确或稀疏的数据
如果置信区间足够宽，不考虑其他结果，估计与相互冲突的建议一致，则应视为不精确或稀疏数据
决定什么是重要的是很困难的。不良结果的合理性可能会影响其是否严重的决定。关于不可信的假定损害的薄弱证据不应降低证据的总体等级。关于假定的伤害是否可信的决定可能来自间接证据。例如，如果由于动物研究而对某种药物的严重不良反应有重要的担忧，那么基于该特定不良反应的任何可用的人类证据，证据的总体质量可能会得到较低的等级。有时，由于缺乏合理的假定危害的证据，可能无法评估干预的净效益。在这种情况下，指导小组可以选择推荐额外的研究。
如果所有关键结果的证据都倾向于相同的替代方案，并且其中一些结果(但不是全部)有高质量的证据，那么证据的总体质量可能仍被认为是高质量的。例如，有高质量的证据表明，抗血小板治疗可降低已发生心肌梗死的患者发生非致死性中风和非致死性心肌梗死的风险。虽然全因死亡率的证据质量中等，但即使全因死亡率被认为是一个关键结局，证据的总体质量仍可能被认为是高的。
建议
干预是否利大于弊?
建议涉及利益与伤害之间的权衡。做出这样的权衡，不可避免地涉及到对每个结果进行或明或暗的相对评估。对于不同的结果应该给予多少权重，往往很难判断，不同的人往往会有不同的价值观。如果人们有证据表明那些受影响的人的价值观，那么代表他人做出判断的人就更有根据。例如，如果有证据表明，相对于避免化疗的副作用，女性更重视降低乳腺癌复发的风险，那么建议早期乳腺癌患者进行化疗的人就会处于更有利的地位。
我们建议在考虑成本之前，对主要健康效益和危害之间的平衡做出明确的判断。干预是否利大于弊?建议必须适用于特定的环境和特定的患者群体，因为不同的环境或患者群体的利弊有所不同。例如，考虑我们是否应该建议房颤患者接受华法林治疗以降低中风的风险，尽管这会增加出血的风险。在有常规抗凝强度监测和没有常规抗凝强度监测的情况下，建议或其强度可能有所不同。此外，中风风险极低的患者(65岁以下无任何合并症的患者)和风险较高的患者(如老年心力衰竭患者)的建议(或其强度)可能有所不同，因为风险的绝对降低存在差异。因此，建议必须针对特定的患者群体和实践环境。特别重要的是，在提出建议时应考虑到处境不利人口的情况，并酌情修改建议，以考虑到处境有利人口和处境不利人口之间的差异。
我们建议使用以下定义来分类权衡:
净收益干预显然利大于弊。
权衡在利与弊之间有重要的权衡。
不确定的权衡目前还不清楚这种干预是否利大于弊。
没有净收益干预显然利大于弊。
提出建议的人应考虑四个主要因素:
权衡，考虑到对主要结果影响的估计大小，围绕这些估计的置信限制，以及对每个结果的相对价值
证据的质量
将证据转化为具体环境中的实践，同时考虑到可能会改变预期影响大小的重要因素，如靠近医院或是否有必要的专业知识
对相关人群基线风险的不确定性。
如果在特定环境下将证据转化为实践存在不确定性，或者基线风险存在不确定性，这可能会降低我们对建议的信心。例如，如果一项干预措施具有严重的不良影响和重要的益处，那么当相关人群的基线风险不确定时，建议的确定性可能会比已知风险时低得多。
方框4:价值观不分对错
下面的例子展示了不同的人如何因为价值观的差异而提出不同的建议，即使在证据一致之后。
问题:普通人群是否应该接受黑色素瘤筛查?
设置:美国的初级保健
基线风险:一般人群(1995年黑色素瘤发病率为每10万人13.3例)
参考: Helfand等人。皮肤癌筛查。系统证据回顾2．
马里兰州罗克维尔:医疗保健研究和质量机构。2001年4月。(AHRQ出版物01-S002号)
有非常低质量的证据筛查的准确性和致命黑色素瘤的结果。筛查的潜在危害包括假阳性检测的后果，但缺乏相关证据。基于此，有可能得出这样的结论:证据的总体质量非常低，筛查的净效益不确定。根据一项单病例对照研究，经筛查的人群与未接受筛查的人群发生致命黑色素瘤的比值比估计为0.37。白人男性死于黑色素瘤的终生风险估计为0.36%。
基于这些证据，许多人可能会建议“不要筛查”，因为相对于不确定的益处，他们高度重视避免筛查健康人群潜在但未知的危害。然而，有些人可能会推荐“可能筛查”，因为相对于未知的潜在危害，他们高度重视筛查的微小但潜在的重要好处。在这种情况下，在考虑到成本后，制定指南的专家组可能会选择不为临床实践提出建议，而对减少不确定性和澄清权衡所需的研究提出具体建议。
这个例子是典型的价值判断，作为筛查建议的基础，但同样的问题也出现在对急性和慢性疾病的治疗提出建议时，根据每个重要结果的相对价值和不确定性，总是有必要平衡预期的收益和预期的危害。
我们建议使用以下类别作为建议:
“做”或“不要这样做”- - - - - -判断的:大多数消息灵通的人都会做出判断的;
“可能会做”或"可能不会这么做"- - - - - -这是一个大多数见多识广的人都会做出，但有相当一部分人不会做出的判断。
建议使用或不使用干预措施并不意味着所有患者都应得到相同的治疗。这也不意味着临床医生不应该让患者参与决策，或解释替代方案的优点。然而，由于大多数知情的患者会做出相同的选择，对替代方案的相对优点的解释可能会相对简短。建议的目的是促进对个体患者或人群做出适当的决定。因此，它应该反映出人们可能会根据证据和他们自己的价值观或与预期结果相关的偏好做出什么选择。“可能做某事”的建议表明临床医生在提供干预时需要更全面和仔细地考虑患者的价值观和偏好。
在某些情况下，由于不清楚的权衡或缺乏一致意见而提出建议可能不合适(如框4所示)。当这是由于缺乏高质量的证据时，应建议进行具体的研究，以提供建议所需的证据。
增加的健康效益是否物有所值?
因为把钱花在一种干预措施上意味着花在另一种干预措施上的钱更少，所以建议间接地(如果不是明确地)依赖于对增量健康效益与增量成本之间价值的判断。成本(所使用资源的货币价值)是提出建议时的重要考虑因素，但它们与具体环境有关，随时间而变化，其大小可能难以估计。在认识到准确估计成本的困难的同时，我们建议，医疗保健替代方案的增量成本应该与预期的健康效益和危害一起明确考虑。在相关和可用的情况下，分类成本(资源使用的差异)应与重要结果一起在证据概况中提出。对于资源使用差异的证据质量，应使用上述其他重要结果的标准进行分级。
它在实践中是如何运作的
表2展示了该系统应用于1997年进行的一项比较选择性血清素再摄取抑制剂与三环抗抑郁药的系统综述的证据的示例。49经过讨论，我们一致认为选择性5 -羟色胺再摄取抑制剂和三环抗抑郁药对抑郁症严重程度和中毒死亡的相对影响有中等质量的证据，短暂副作用有高质量的证据。我们随后达成一致意见，认为总体证据质量中等，选择性血清素再摄取抑制剂有净益处(抑郁严重程度无差异，短暂副作用较少，中毒死亡人数较少)。尽管一致认为似乎有净收益，但我们还是建议“可能”使用选择性血清素再摄取抑制剂，这反映了由于证据质量的不确定性。在这项实验中，与三环类药物相比，我们没有证据表明使用选择性血清素再摄取抑制剂的成本。如果我们考虑到成本，这个建议可能会改变。
总结分
各组织使用各种系统对证据的质量和建议的强度进行评级
这些评分系统的差异和缺点可能会令人困惑，阻碍有效的沟通
提出了一种系统和明确的方法来判断证据的质量和建议的强度
该方法在判断每个重要结果的证据质量时考虑了研究设计、研究质量、一致性和直接性
益处和危害之间的平衡、证据的质量、适用性和基线风险的确定性都被考虑在对建议强度的判断中
结论
在任何可能用于评估证据质量和建议强度的系统中，都需要在简单性和清晰性之间取得平衡。降低系统的复杂性也可能降低清晰度，因为在简单的系统中，判断更可能是隐式的而不是显式的。另一方面，提高透明度和提高判断透明度的努力可能导致更加复杂。在这里描述的系统中，我们试图在简单性和清晰性之间找到平衡。不管一个系统是简单还是复杂，判断总是需要的。我们所描述的方法为结构化反思提供了一个框架，可以帮助确保做出适当的判断，但它并不能消除判断的需要。
本文末尾列出了GRADE工作组的成员
对本文有贡献的分级推荐评估、发展和评估(GRADE)工作组成员包括David Atkins、Dana Best、Peter A Briss、Martin Eccles、Yngve Falck-Ytter、Signe Flottorp、Gordon H Guyatt、Robin T Harbour、Margaret C Haugh、David Henry、Suzanne Hill、Roman Jaeschke、Gillian Leng、Alessandro Liberati、Nicola Magrini、James Mason、Philippa Middleton、Jacek Mrukowicz、Dianne O’connell、Andrew D Oxman、Bob Phillips、Holger J Schünemann, Tessa Tan-Torres Edejer, Helena Varonen, Gunn E Vist, John W Williams Jr, Stephanie Zaza。
英格兰和威尔士国家临床卓越研究所(NICE)和波兰循证医学研究所(PIEBM)为GRADE工作组的会议提供了支持。工作组成员所属的机构提供了校内支助。Alessandro Liberati参与GRADE活动得到了Ministero Università e Ricerca scientiica (M.I.U.R, Progetto COFIN 2001)的资助。
脚注
贡献者以上所列的GRADE工作组的所有成员都为本文的准备和其中所含思想的发展做出了贡献，至少参加了一次会议，并阅读和评论了本文的草稿。GHG和ADO主导了这一进程。全球环境疫苗组织主要负责准备试点研究中使用的证据概况并协调该过程。
相互竞争的利益GRADE工作组的大多数成员都对另一种对证据质量和建议强度进行分级的系统有既得利益。