杨楠 周奇 张静怡 译
陈耀龙 杨克虎 校
兰州大学循证医学中心
摘要
指南常会使用术语"专家意见(Expert Opinion,EO)"来支撑推荐意见,本研究旨在探究EO型推荐意见的来源和证据类型。我们检索了不同数据库和网站近10年发表的含有EO型推荐意见的指南。共命中1 106篇文献,纳入69篇指南(含2 390条推荐意见,其中907条为EO型推荐意见),大多数EO型推荐意见(91%)未说明采用EO的理由,EO型推荐意见最常引用的证据大都是不足以回答指南问题的研究(40%为随机对照试验,38%为观察性研究,2%为病例报告或病例系列)。2.5%的EO型推荐意见引用的证据中所纳入的人群与指南的目标人群不同。经判断,5.6%的EO型推荐意见可以用良好实践主张(good practice statements)这一术语来表达。没有任何EO型推荐意见被明确描述为基于指南专家组的临床经验。指南中仍普遍将EO作为一种证据级别,但大部分并未给出明确理由。多数情况下,来源于EO的证据都存在间接性,也有一小部分来自于病例系列的极低质量证据。我们认为,对证据的类型应进行明确描述,而非仅仅将其泛称为EO,不仅可增加推荐意见的清晰性和透明性,还可促进对推荐意见的实施。
背景
临床实践指南是系统开发的指导意见,旨在帮助临床医生和患者在特定情况下做出适当的医疗卫生决策1,2。证据表明,实施指南可改善患者结局3,4,5。一部可靠的指南,其最基本的要求之一是应基于当前可得的最佳证据的系统评价,并对证据质量进行分级2。而证据质量是对真实疗效在一个特定阈值的一侧或在一个特定范围内的把握程度6。GRADE(推荐分级的评价、制订与评估)工作组提供了一种对证据质量进行分级的方法,主要包括以下方面:研究的局限性、间接性、不精确性、不一致性和发表偏倚5。
要点总结
目前已知要点
当证据不足时,许多指南都会在推荐意见中使用专家意见(EO)。
使用EO的指南常被认为不严谨。
EO定义尚不清楚。
新发现
大多数指南在使用EO时未提供依据。
EO型推荐意见常包含多种证据类型。
EO型推荐意见大部分用来描述间接证据。
对未来临床实践的启示
明确描述证据类型(如间接证据)可增加推荐意见的清晰性和透明性,还可促进对推荐意见的实施。
但事实上,临床医生的日常用语和包括指南在内的科学出版物中仍常用"专家意见"(Expert Opinion,EO)。直观来看,做出临床决策需要专业技能和知识,而这些技能和知识来源于专家的意见。证据金字塔的一些相关阐述中,将EO当作一个证据级别并将其置于金字塔的底部,或者与临床前研究和病例报告相结合,作为一种特定的低级别证据。"意见"在词典中被定义为"普遍持有的观点""信念"或"思维中形成对某个特定事物的判断"7。但此定义和基于经验的观察性研究证据的定义不完全相同。基于EO的临床实践指南可能会受到负面的评价,或被认为可靠性较差5。尽管临床技能和经验在决策中仍然至关重要,但GRADE方法认为EO不应单独做为一个证据级别,相反,临床专业技能和知识是解释所有研究类型的证据和制订循证建议的重要组成部分。
因此,我们拟严格评价现有的、把支持推荐意见的具体证据描述为EO的临床实践指南,以明确指南制订者使用EO的依据,并探索与EO使用相关的因素。我们假设EO可能反映了几种类型的证据,这些证据原本可以使用更合适的语义描述,并从标准的证据质量维度进行更恰当的评估。更准确的证据质量分级可能会更清晰和透明,并将减少证据和专业知识间的认知障碍。
方法
本meta流行病学研究采用系统评价的方法,并遵循相关的报告规范8。
检索策略
由文献检索专家(LJP)制订全面的检索策略,检索起止日期为2010年1月1日至2016年6月3日。检索数据库有:Ovid MEDLINE In-Process & Other Non-Indexed Citations、Ovid MEDLINE和Ovid EMBASE,采用主题词结合自由词进行检索(检索策略相关文件可在线获取)。对于包含了专家意见的指南,我们对其制订机构的网站也进行了手工检索(美国传染病学会、美国疾病预防控制中心、美国心理学会、美国家庭医师学会、美国生殖医学会、美国临床肿瘤学会、美国泌尿学会、美国心脏病学会和美国糖尿病学会)。
纳入标准:指南中报告了将EO作为其证据质量分级系统的一部分,或者推荐强度分级系统中有一个分类表明EO是该推荐意见的唯一依据。排除标准:未使用EO做为证据等级的指南。我们通过选取5篇指南进行预试验,来检验评价者之间的一致性。
数据提取
研究人员两人一组用预先设计好的表格独立提取资料,按照对研究的判断(随机对照试验、观察性研究、病例系列/病例报告或基础研究)将EO的证据类别进行预先分类,并找出使用EO型推荐意见的依据。我们同时评估了EO型推荐意见是否可被划归为良好实践主张(即,有大量间接证据支持和无直接证据支持的主张9)。研究者在评估EO型推荐意见引用的证据类型时需达成一致,有分歧时与第三方讨论解决。提取的信息包括:指南发表年份、指南制订机构、指南领域、方法学家在指南制订过程中的参与度(通过作者的贡献、机构、在Google中检索作者背景来确定)、利益冲突声明、EO的定义、使用系统评价及EO型推荐意见的特点(例如使用EO的理由以及EO引用的证据类型)。
统计分析
使用描述性统计方法总结EO型推荐意见的流行病学特征(流行率、时间趋势)以及依据和引用证据的类型。同时探讨与引用证据相关的EO型推荐意见的特征(每一部指南中EO的比例、EO的依据、指南小组中方法学家的参与情况及指南中使用系统评价的情况)。运用Pearson's卡方检验或者Fisher's精确检验来比较名义变量,对于连续性变量,采用K-S单样本检验去检测是否符合正态分布,用未配对的T检验或者Mann-Whitney U检验对两组进行比较。双侧检验P<0.05时有统计学意义,统计学软件使用SPSS V.20.0。
结果
检索结果
检索到1 106条相关文献,最终纳入69部指南(包含2 390条推荐意见),其中907条(37.9%)推荐意见中将EO作为一种证据等级,指南的筛选过程详见图1。
图1 指南筛选流程图。EO=专家意见。
2010—2016年间,EO型推荐意见指南所占比例从6部(8.7%)增加到17部(24.6%)。69部指南中,24部(34.8%)指南在制订过程中纳入了方法学家,几乎所有指南都声明至少有一位作者存在经济上的利益冲突(91.3%),所有的指南都是基于系统评价的证据(59.4%使用已发表的系统评价或制作快速系统评价,40.6%委托他人或者自己制作系统评价)。指南最常见的临床领域为内分泌科(58%),其次为泌尿科(18.8%)和整形外科(7.2%)。指南基本特征总结详见表1。评价者之间对支撑EO型推荐意见的证据类型判断的一致性为77%。
EO型推荐意见的依据及证据类型
仅有7个学会提供了对EO的定义(在线附表1)。这些定义的主要内容涉及证据不足,证据主要来自于生理学、基础研究或专家个人的临床经验。大多数EO型推荐意见(828/907,91%)并没有解释采用EO的原因,只有少数将缺乏证据作为理由(79/907,8.7%)。
30.4%(276/907)的EO型推荐意见引用了多种类型的证据,评估后发现,使用EO的最常见原因是当前研究证据不能完全回答指南提出的问题(40.2%为随机对照试验,38%为观察性研究)。其他不常见的原因包括证据来自病例报告或病例系列的结论推断(2.2%)(图2)。一些EO型推荐意见(2.5%)显示其证据来自不同的人群(人群的间接性)。经判断5.6%的EO型推荐意见可划归为良好实践主张。纳入指南清单详见在线附表2。
图2 专家意见(EO)引用的证据类型。类别重叠且比例总和不为100%。"良好实践主张"和"来自不同人群的结论推断"的分母均是EO型推荐意见,而其他类别的分母则为报告了证据类型的EO型推荐意见。
方法学家参与指南制订可降低每部指南中EO型推荐意见的比率(P=0.03),并显著增加以下结局的比率:将"缺乏证据"作为EO型推荐意见的依据(P=0.04)、每部指南中EO型推荐意见引用证据(P=0.01),以及指南中系统评价的委托或制作(P<0.01)。委托或自己制作系统评价的指南也可提高EO型推荐意见中引用证据的比率(与未使用系统评价或使用现有系统评级或快速系统评价的指南相比,P<0.01)。EO型推荐意见中是否引用证据以及每部指南中EO型推荐意见的比例均与利益冲突的声明无显著相关性(P>0.05)(表2)。
讨论
主要结果
本meta流行病学研究主要评价了已发表的临床实践指南中将EO作为证据级别的现状。研究发现,EO在指南中的使用非常普遍。此外,大部分基于EO的推荐意见没有明确说明使用EO的依据。在大多数情况下,EO型推荐意见都引用了证据,在这种情况下EO似乎并不是一种意见,而更像是来自于间接人群或环境证据的推论。总之,这不符合对"意见"的定义,将其描述为间接证据似乎更合适10。间接证据是不能直接回答问题,可能存在一定的不确定性,但并非总是如此,证据间接性的体现方式多种多样,如,研究中的试验人群与目标人群不同时,试验干预措施与目标干预措施不同时,或者使用替代结局指标时。间接证据的重要性(多大程度上降低证据质量)主要取决于我们对生物因素和其他因素是否有足够的理解,以致人们可能在预期效应的方向或大小方面产生实质性差异10。
实际上一些EO型推荐意见基于病例系列和病例报告,证据的确定性通常(但不总是)很低。当然也有一些EO型推荐意见可划归为良好实践主张(基于大量的间接证据,很少或几乎没有直接证据,但临床医生认为不存在争议,不需要证据总结9)。这表明指南制订者往往将EO和良好实践主张混为一谈。在那些提供了参考文献的指南中,本研究并未发现指南制订者依赖自己的临床实践和经验制订出的EO型推荐意见(即基于他们临床实践中非系统的观察制订的推荐意见)。但是,对于许多未提供参考文献的EO型推荐意见而言,基于专家自己在临床实践中观察得出的EO型推荐意见可能是合理的。
这项研究还表明,指南制订小组中纳入方法学家,降低了每部指南中EO型推荐意见比例,也增加了EO型推荐意见引用证据的可能性,这可能与方法学家鼓励指南制订过程应更加清晰和透明有关。本研究无法证明经济利益冲突对EO的使用存在影响。然而,已有研究表明,专家意见会受经济利益的影响11。
启示
这项研究表明,大多数情况下,专家意见并不是单纯的意见,而是基于间接证据或者极低质量证据。我们建议使用正确的特征描述,并使用完善的证据质量分级标准(即高、中、低或极低)12。这对于决策者和指南使用者来说更加准确和透明。同时,对证据质量的正确和明晰描述也可提高对指南推荐意见的理解性,毕竟指南使用者可能会认为EO型推荐不够严谨和可靠。
虽然一些临床专家要求在指南制订过程中将EO作为一种证据来源13,但他们认为:
"……专家的意见不仅取决于他们的个人临床经验,还取决于他们积累的丰富知识,其中包括专家对已发表报告的有效性进行的个人评估,在会议和研讨会上学到的新知识,对未发表的'阴性’研究结果的认识,以及对其专业领域同行的实践类型的认知(通常未报告)13。"
此定义清楚地包括了许多证据类型,而不是意见。我们建议每一种证据类型都应使用明确的定义说明和评估,避免模糊的术语。此方法与GRADE方法一致,GRADE明确指出,对任何形式证据的解释都需要专业知识,应将EO视为对证据的解释,而不是证据本身12。
在缺乏证据的情况下,可以系统地总结专家意见和实践经验。可以通过调查临床专家多年来对患者结局的观察结果,而不是要求他们应该给出什么推荐意见。一些指南已经采用这种方法,当现有的证据不能够解决临床问题所支持推荐意见的时候,临床小组则更愿意接受此方法14,15。
大多数推荐意见的证据质量通常较低(与临床医生寻求的指南数量和多样性相比),这种低质量再加上严格的证据纳入标准,都可能导致指南中的推荐意见与实际情况不符,以及缺乏实施细节。因此,为了让指南更实用,临床专家需要将证据置于具体的临床情境中分析,从间接来源推断证据并解释低质量的证据,除了使用正确的证据(即,间接证据而不是专家意见)分类之外,指南还应说明如何选择纳入专家,如何达成共识,要求专家解决什么问题(例如,权衡证据的质量和局限性,将证据和推荐意见置于具体的临床情境中分析,通过间接证据来评估和进一步报告指南,根据他们的个人临床经验提出意见,或者用良好的实践主张来丰富和支持指南全文)。
局限性与优势
本研究结果是基于作者对已发表文献的回顾性分析。此外,对研究质量或证据质量的评价也基于主观判断16,17。由于大多数推荐意见中并没有提供为何使用EO的理由,这可能会影响当前结论的全面性和科学性。在某些推荐意见中,EO是证据分级还是推荐强度,也未做区分。对证据质量和推荐强度的明确区分是GRADE系统的最主要的内容之一,但在未采用GRADE方法的指南中,对该问题的阐述就不够明确。另一个局限性是大部分的EO型推荐意见由单一的专业学会制订。最后,良好实践主张做为推荐意见才被刚提出不久。因此,一些指南制订者可能不知道这样的定义18。
这项meta流行病学研究的优势在于研究人员两两独立进行了全面的检索与评价。此外,我们认为这是对指南中EO的使用情况进行阐述和分析的首个研究。
结论
临床专家对证据在什么情况下应该使用的解释说明至关重要。指南制订中,当推荐意见基于间接证据时,临床专家的意见就显得尤为重要。我们建议避免使用EO这一术语,并用恰当的标准术语来替代,以描述证据质量。这样可提高推荐意见的清晰性和透明性,进而促进对推荐意见的实施。
贡献者(Contributors):MHM提供了研究构思,OJP, NA-V,RS和KM进行了文献筛选和数据提取,RLM、SS、YF-Y、LJP、PD和RAM修改全文并协助讨论,OJP和NA-V进行数据分析,MHM是该项研究的资助者。
利益冲突(Competing interests):声明无利益冲突。
来源和同行评议(Provenance and peer review):非约稿,已外审。
Evid Based Med 2017;22(5):180-1 doi:10.1136/ebmed-2017-110798