中医药研究方法 · 第 020 章

检索式也需要审稿:为什么系统评价不该由一个人搜完就算

系统评价常要求双人筛选、双人提取,却可能让一个人独自决定证据入口。检索式同行评议审的不是格式,而是研究问题有没有被正确翻译、哪些证据可能在点击检索前就被排除。

做过系统评价的人,大概都熟悉这些要求:两个人独立筛选文献,两个人提取资料,偏倚风险也最好分别判断;意见不一致,再找第三个人讨论。

可轮到最前面的文献检索,流程常常突然变得很随意。

一个人拆研究问题,一个人找检索词,一个人写检索式,然后把这套表达式复制到几个数据库里。只要运行时没有报错、最后搜出几千篇文献,大家往往就默认:检索已经完成了。

这件事其实很奇怪。

筛选阶段再严格,也只能判断已经出现在结果里的文献。如果一篇研究在检索时就没有被找到,后面安排两个人、三个人筛选,都不可能把它救回来。

所以这篇想讨论的,不是怎样把检索式写得更复杂,而是一个更容易被忽略的问题:

决定系统评价证据入口的检索式,为什么经常不需要接受独立审查?

自己写完,再检查一遍,为什么还不够

检索式当然应该自查。

括号有没有闭合,字段代码有没有写错,AND和OR有没有放反,复制时有没有漏掉一行——这些问题,多看几遍确实可能发现。

但检索中最危险的错误,往往不是手误,而是制定者本人没有意识到自己的理解存在缺口

比如,一个研究者把“中医药治疗”理解成了“中药治疗”。他列出几十个方剂名和中药名,自查时还会觉得自己考虑得很全面。可针刺、艾灸、穴位贴敷、耳穴、推拿等干预,从研究问题被翻译成检索概念的那一步开始,就已经被排除在外。

再比如,研究者熟悉现代医学病名,却不知道同一疾病在中医文献中还有哪些历史称谓、证候表达和临床写法;或者他知道这些词,却把本应并列的同义表达用AND连接了起来。

这些表达式完全可能正常运行,甚至可以搜出很多文献。数据库不会弹窗提醒你:“你的研究问题已经被改写了。”

这就是作者自查的局限:同一个人可以检查自己的语法,却很难跳出自己的知识边界。

检索式同行评议,审的不是排版

2015年更新的PRESS指南,专门讨论电子检索策略的同行评议[1]。

这里的“同行评议”不是投稿以后让审稿人顺便看一眼,也不是请同事问一句“这个式子行不行”。它是在正式执行检索之前,把完整策略交给另一位具备检索能力的人,按照结构化项目逐项检查,并留下修改意见和处理记录。

PRESS保留了六个评议领域:研究问题的翻译、布尔与邻近运算、主题词、自由词、拼写与语法、限制条件与过滤器[1]。

如果把它说得更直白,真正要审的是四件事。

第一,研究问题有没有被翻译对

临床问题和数据库问题不是一回事。

研究方案里写的是“某类中医药干预对某种疾病的疗效与安全性”,进入数据库以后,却必须变成若干可执行的概念组。哪些概念应该进入检索?哪些条件应该留到筛选阶段?疾病、人群、干预和研究类型是不是都必须同时写进表达式?

限定越多,结果看起来越精准,但也可能越容易漏检。

所以审稿人首先不应该盯着括号,而要把检索式与研究问题、纳入标准并排放在一起:这套表达式搜到的,还是研究真正想回答的问题吗?

第二,词有没有找全,概念层级有没有混乱

主题词和自由词要互相补充,简称、全称、异名、拼写变体和上下位概念也要根据问题取舍。

中医药研究更容易在这里出问题。

一个“针灸”可以向下展开为针刺、毫针、电针、头针、耳针、火针、艾灸、温针灸等不同表达;一个“中药治疗”也可能涉及方剂、中成药、中药饮片、外治法以及具体处方名称。研究是否全部纳入,取决于预先界定的干预边界,而不是哪个词最方便输入。

评议者要问的不是“词够不够多”,而是:

  • 该并列的概念是否被并列;
  • 上位词能否可靠覆盖下位表达;
  • 数据库是否真的会自动扩展这些词;
  • 已知相关文献中的典型写法能否被召回;
  • 有没有把一个宽泛研究问题悄悄缩成自己最熟悉的那部分。

第三,逻辑和语法有没有改变原问题

AND、OR、NOT、括号、字段、截词和邻近算符,看起来是纯技术细节,实际上都在划定证据边界。

同义表达通常用OR连接,不同概念组通常用AND连接。但一旦概念拆分有误,再正确的逻辑符也只会更准确地执行一个错误的问题。

NOT尤其需要谨慎。它可以快速排除噪声,也可能因为一篇相关文献恰好出现了被排除词而把它整个删掉。研究类型过滤器同样如此:一个未经验证或不适配当前数据库的过滤器,可能让检索式看上去非常专业,却把本应纳入的研究挡在门外。

第四,限制条件和跨库转换有没有偷偷缩窄证据

时间、语言、文献类型、人群和数据库自带过滤器,都不只是结果页上的小开关。

每一个限制都需要回答两个问题:它有明确的方法学理由吗?它会漏掉什么?

检索式从一个数据库转到另一个数据库时,也不能只替换字段代码。不同平台的主题词体系、字段范围、邻近语法、截词规则和自动扩展并不相同。真正需要保持一致的是研究概念和证据边界,而不是让几套表达式长得一模一样。

最合适的审查时点,不是投稿前

如果等文章写完,才由审稿人发现检索式存在重大问题,代价已经很高了。

研究者可能需要重新检索、重新去重、重新筛选、重新提取,甚至重新分析。更现实的情况是,由于返工太大,最后只在方法部分补几句话,却没有真正重做证据集合。

PRESS建议先选定一套主要检索策略,在它完成以后、转换到其他数据库之前进行评议[1]。

一个比较稳妥的流程是:

  1. 根据研究问题和纳入标准形成主检索式;
  2. 用少量已知相关文献和结果抽样进行预检索;
  3. 由独立评议者按照清单检查;
  4. 记录问题、修改决定以及未采纳意见的理由;
  5. 将通过评议的主策略转换到其他数据库;
  6. 核对跨库转换,再正式执行和保存结果;
  7. 后续更新检索时,检查研究范围、数据库界面和策略是否发生变化。

图1 检索策略同行评议工作流

图1 主要检索策略先接受独立评议,再转换到其他数据库;重大修改和更新检索需要重新检查。

通常一次合格的独立评议已经能够发挥作用。若评议后发生重大修改、研究范围改变,或者数据库使用了复杂的新界面,再安排第二次评议更合理[1]。

中医药检索,最好由三类知识共同把关

看到这里,有人可能会说:我们团队没有医学图书馆员,难道系统评价就不能做了吗?

当然不是。

理想情况下,检索策略可以由三类知识共同把关:

  • 中医药或临床内容知识:判断疾病、证候、治法和干预边界;
  • 证据综合方法知识:判断研究问题、纳入标准和检索概念是否一致;
  • 信息检索知识:处理主题词、自由词、字段、逻辑、语法、过滤器和跨库转换。

图2 中医药检索的三类知识把关

图2 中医药检索需要内容、证据综合方法和信息检索技术共同把关,并不等于机械要求三个人。

这不一定非要对应三个人。一个人可以同时具备两类能力,团队也可以培养固定的检索质量保证人员。关键是,不能让同一个制定者独自完成问题翻译、术语选择、策略编写和最终验收,再把“我检查过了”当成独立质控。

2023年一篇针对中医药系统综述的PRESS实践论文也提出:理想状态下与图书馆员或信息学专家合作;资源有限时,可在团队内部培养检索质量保证人员,实行双人独立预检索和策略讨论,并请中医药专家专门评议中医术语[2]。

这个方案比简单要求“必须有图书馆员署名”更现实。真正重要的不是头衔,而是有没有相应能力、是否独立检查、意见是否留下记录。

国内研究曾经忽略的,恰恰是“谁在检索”

我们在CNKI中找到的几项调查,很能说明这种质量控制为什么有必要。

一项针对487篇国内干预类系统评价和Meta分析的调查中,只有96篇报告详细检索策略;仅13篇报告了实施检索的人数,没有研究报告图书馆员或信息学专家是否参与[3]。

另一项纳入235篇中文诊断试验系统评价和Meta分析的调查发现,所有研究均未交代检索人员、人数以及图书馆工作人员是否参与。作者还总结了检索策略过于简单、选词和逻辑组配不当、混淆主题词与文本词等问题[4]。

在181篇动物实验系统评价和Meta分析中,156篇报告了检索词,但只有12篇报告完整检索策略[5]。

这些调查的样本年代较早,不能用来断言今天的所有论文仍是同样水平。但它们揭示了一个长期存在的思维习惯:大家关注“搜了几个数据库”,却很少追问谁有能力设计这次检索,谁又负责独立检查

数据库数量多,并不能自动抵消一套错误策略。把同一个概念缺口复制到五个数据库,只会得到五份方向一致的遗漏。

不是每次查资料,都要正式走一遍PRESS

检索同行评议也不应该被写成新的形式主义。

平时查背景资料、准备一场讲课,当然没有必要每次都建立评议表。叙述性综述的探索检索,也可以根据风险采用简化自查。

但如果研究声称自己系统、全面地汇总了证据,检索结果又会直接进入Meta分析、指南、卫生技术评估、证据总结或重要决策,那么检索策略就不再只是个人工作习惯。

可以做一个简单分层:

  • 系统评价、指南、卫生技术评估和重要证据总结:应进行正式、独立的结构化评议;
  • 范围综述、证据地图和文献计量研究:至少进行独立复核,重点检查概念边界与跨库转换;
  • 普通背景检索和叙述性综述:根据用途做简化检查,不机械套用完整流程。

判断标准不是“这篇文章够不够高级”,而是:一旦漏检,结论会受到多大影响;研究又对外作出了多强的全面性承诺。

一份可以直接使用的检索审稿单

如果准备开展系统评价,可以在正式检索前把下面这份清单交给评议者。

送审材料

  • 研究问题和纳入排除标准;
  • 计划检索的数据库及平台;
  • 一套完整的主检索式;
  • 几篇必须能够召回的已知相关研究;
  • 对时间、语言、文献类型等限制的理由。

评议问题

  • 研究问题是否被正确拆成检索概念;
  • 主题词、自由词、异名和下位表达是否足够;
  • 中医病名、证候、治法和干预边界是否清楚;
  • AND、OR、NOT、括号、字段和截词是否正确;
  • 过滤器和限制条件是否可能造成不合理漏检;
  • 主检索式能否召回已知关键文献;
  • 转换到其他数据库后,概念边界是否保持一致。

留痕内容

  • 制定者、评议者、日期和版本;
  • 发现的问题及严重程度;
  • 接受了哪些修改;
  • 哪些意见没有采纳,以及理由;
  • 修改后的最终检索式和执行日期。

PRISMA-S解决的是检索过程应该怎样报告,PRESS更接近于检索正式执行前应该怎样检查[1,6]。把二者结合起来,才不至于出现一种尴尬:一套存在重大缺口的检索式,被非常完整、非常规范地报告了出来。

系统评价常被比作证据的高楼。可真正决定这栋楼用了哪些材料的,并不是最后那张森林图,而是最前面的文献检索。

因此,检索式接受同行评议,不是在流程里再增加一道签字,也不是为了证明团队“很规范”。它真正要做的是:在点击正式检索之前,让另一个人有机会指出——哪些证据可能已经被我们关在门外。

参考文献

  1. McGowan J, Sampson M, Salzwedel DM, et al. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement[J]. Journal of Clinical Epidemiology, 2016, 75: 40-46. doi:10.1016/j.jclinepi.2016.01.021.
  2. 吴玉琦, 王琦, 王济, 等. 电子检索策略同行评议指南解读及在中医药系统综述中的实践路径[J]. 中国中医药图书情报杂志, 2023(1): 62-65. doi:10.3969/j.issn.2095-5707.202203035.
  3. 葛龙, 安妮, 曾巧铃, 等. 我国干预类系统评价/Meta分析文献检索新挑战[J]. 中华医学图书情报杂志, 2013, 22(5): 2-8. doi:10.3969/j.issn.1671-3982.2013.05.001.
  4. 梁莉, 葛龙, 周为文, 等. 我国诊断性试验系统评价/Meta分析的检索情况调查分析[J]. 中华医学图书情报杂志, 2013, 22(5): 9-16. doi:10.3969/j.issn.1671-3982.2013.05.002.
  5. 陈匡阳, 屈丽娜, 胡芳, 等. 动物实验系统评价/Meta分析检索策略报告情况调查[J]. 中国循证医学杂志, 2016, 16(3): 348-353. doi:10.7507/1672-2531.20160054.
  6. Rethlefsen ML, Kirtley S, Waffenschmidt S, et al. PRISMA-S: an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews[J]. Systematic Reviews, 2021, 10: 39. doi:10.1186/s13643-020-01542-z.