有一类论文,特别容易让人放下戒心。
它写明了数据库,列出了检索式,交代了软件版本,画出了作者、机构和关键词网络,还有 Q 值、S 值、中心性和突现强度。
一页页翻过去,数字很多,图也很复杂。读者很容易产生一种感觉:过程这么完整,结论应该比较客观。
可文献计量论文有一个很隐蔽的特点:后面的每一步都可以算得完全正确,研究却仍然可能从一开始就走偏。
数据库没有说谎,CiteSpace 也没有算错。真正的问题是,研究对象在检索、筛选、清洗、建网和解释中悄悄变了几次。等漂亮图谱出现时,论文回答的,可能已经不是题目最初提出的那个问题。
我们就拿一篇真实发表的论文,从头到尾走一遍。
不是为了证明某篇文章“不行”,更不是为了评价作者。恰恰因为它把检索式、参数和许多结果都公开了,我们才有机会借它看清:一篇文献计量论文究竟会在哪些地方失真,我们自己的研究又该怎样避开。

图1 一篇文献计量论文可能在研究边界、数据处理、网络生成和结果解释中连续变形。
第一步:题目研究“中医药”,检索时却先变成了“中药”
这篇论文研究的是“中医药治疗便秘”,中文检索式为:
便秘 AND(中药+中草药+天然药物)
这里不是我们替作者把研究范围扩大了。论文自己的正文明确把穴位贴敷、穴位按摩和推拿列为中医药治疗便秘的常用方法;表 9 甚至把一个聚类直接命名为“神阙穴”,另一个聚类中又出现“针刺”;讨论部分还把穴位贴敷、穴位埋线、针灸和耳穴埋豆都归入中医外治法。
这足以说明,作者真正想讨论的确实是广义的“中医药治疗”,而不只是中药。可检索端却只用了“中药、中草药、天然药物”。
为什么结果里仍然能看见神阙穴和穴位贴敷?因为“中药穴位贴敷”“中药敷脐”本身带有“中药”标签,所以有机会被原式捞进来。可单纯针刺、艾灸、推拿、埋线等没有同时写出中药词的研究,就可能从入口处被系统漏掉。
因此,正文出现这些疗法并不能证明检索已经覆盖了它们,反而暴露出更严重的选择性:**与中药捆绑出现的外治疗法能够进入图谱,独立存在的非药物疗法却被挡在外面。**上一篇文章的扩展检索也证实,原式漏掉的不是三五篇边角文献,而是一整片针灸、推拿和外治研究。
研究对象就这样从“中医药治疗”,变成了“被中药词筛选过的中医药治疗”;与此同时,“天然药物”又比中药更宽,还可能带入其他天然产物研究。
文献计量研究的样本,不是从导出数据时才形成的。你在检索框里写下哪些词,就已经决定了这个领域哪些部分有资格被看见。
而英文检索式的问题,甚至比中文部分更严重。论文公开写的是:
consitipation AND Chinese medicine OR Chinese traditional medicine OR Chinese herbal medicine OR materia medicine
这一行同时存在三处风险:constipation 被拼成 consitipation,materia medica 被写成 materia medicine,多个 OR 分支又没有用括号括起。Web of Science 中 AND 先于 OR 执行[7],因此后几个中医药分支可能不再受“便秘”限制。
结果可能是一边漏掉真正的便秘研究,一边放进大量与便秘无关的中医药文献。如果这只是论文录入错误,公开方法便无法复现;如果实际检索也是如此,英文样本的有效性就需要重新审查。
第二步:两百多篇文献被排除了,但读者不知道为什么
论文报告,CNKI 初步检出 2411 条,最终纳入 2133 篇;Web of Science 检出 238 篇,最终纳入 224 篇[1]。
前者排除了 278 条,后者排除了 14 条,却只用“筛除不相关内容及会议等,经过除重”一句带过。具体纳排标准、各原因排除数量、筛选者人数、分歧处理和去重方式,都没有留下可复核记录。
中英文两部分的纳入标准还不对称。英文侧明确限定 article 和 review,中文侧只说排除会议、新闻、报纸,没有说明是否限定期刊、是否纳入学位论文和其他文献类型。两组样本连“什么算一篇文献”都未必相同,却被直接拿来比较发文量、作者、机构和热点。
论文没有报告,不等于作者一定没有做;但对读者来说,那 292 条记录已经进入黑箱。软件只是处理交给它的数据,哪些文献进来、哪些出去,才是最需要留下审计痕迹的地方。
第三步:图还没画,表里的数字已经对不上了
接下来做一个最朴素的检查:把论文表 1 中 2000—2021 年的中文文献年度发文量逐项相加。
合计不是正文反复写的 2133 篇,而是 2128 篇,相差 5 篇。
同一张表中的英文文献年度数合计为 224 篇,与正文一致。
再看作者表。正文和表题都说,Web of Science 部分列出的是“发文量≥4篇”的作者,但表内有 4 位作者的发文量是 3 篇。
把几组数字放在一起,就很直观:

图2 仅核对正文、表格与数字之间的关系,就能发现四处直接影响解释的矛盾。
5 篇的差异未必改变年度曲线,却说明最基本的交叉核对没有做好。纳入量、年度表和作者阈值都对不上,更复杂的网络和结论又核对到了哪一步?
“文献量/篇”也不只是表头笔误:关键词网络的聚类成员首先是关键词节点,论文却把它解释成文献数量。中文称有 13 个聚类,表中只列 #0—#6;英文称有 10 个,只列 #0—#5,省略依据没有交代。统计对象和结果边界都说不清,读者自然无法复核。
第四步:Web of Science,怎么就成了“国外研究”?
论文把 CNKI 文献称为国内研究,把 Web of Science 文献称为国外研究。由于中文文献远多于英文文献,文章进一步得出:中医药治疗便秘的研究主要集中在国内,国外关注度不高。
在纳入的 224 篇 Web of Science 文献中,中国贡献了 166 篇,占 74.1%。发文量排在前面的机构包括北京中医药大学、香港浸会大学、南京中医药大学和中国中医科学院。
Web of Science 是数据库,不是外国;英文是论文语言,也不是作者国籍。
CNKI 与 Web of Science 的收录范围、期刊结构、字段标引和检索式本来就不同。两个结果集数量不同,只能先说明:用这两套检索方法,在两个数据库里找到了不同规模的文献。
如果想比较中国与其他国家,应该在同一数据库、同一检索策略和同一时间范围中,根据作者机构所属国家重新分组。否则,比较的不是国内与国外,而是两个覆盖范围不同的文献集合。
论文却把数据库差异解释成地域差异,又把文献语种解释成研究关注程度。这已经影响了全文的核心比较框架。
“国内侧重老年、国外偏向儿童”的判断也一样:中文“老年”30 次,英文 children 13 次,样本总量却分别是 2133 和 224,既未换算比例,也没有统一中英文概念和标引口径。
表 6 还有一处原则性错误:表头写“国家”,却把中国台湾地区与多个国家并列,并将 TAIWAN 拼成 TIWAN。这既是国家/地区字段未规范,也是中文学术出版中不应出现的表述错误。
第五步:“畜禽养殖”怎么成了人的便秘研究热点?
论文只写了一句“合并同类项”,没有公开词表、删除规则和清洗前后数据。
结果中仍同时保留“中药”“中药治疗”“中药疗法”,以及“中风”和“脑卒中”;正文甚至围绕语义不明的“朴实方”解释早期研究方向。哪些词需要区分、哪些应该合并,论文没有给出规则。
真正让人警觉的,是它最终得到的中文突现词中出现了:
促长剂、维生素、畜禽养殖、专用药品、中草药。
研究“中医药治疗便秘”却看到“畜禽养殖”,第一反应应该是停下来核查:这些记录为什么会进来?删掉以后网络会不会变化?
可论文没有把它当作数据边界的报警器,反而顺着图谱得出了全文最离谱、也最具讽刺意味的一个结论:中医药类兽药开发,也是近年中医药治疗便秘的研究热点。
一项原本讨论人的中医药治疗便秘的研究,最后竟把“中医兽药开发”识别成热点。这很难说是意外发现了跨学科前沿,更像是:把本应排查的数据污染,当成了知识发现。
软件只会认真计算进入数据集的词,不会判断“畜禽养殖”该不该出现。越不追问数据从哪里来,越规范的图谱,反而越可能把荒唐结果包装得像科学结论。
于是,检索噪声被清洗环节放过,又被突现分析赋予了时间趋势,最后完成了一次近乎黑色幽默的转换:人的中医药便秘研究,被讲出了一条中医兽药开发的“热点”。
第六步:图上写着“关键词”,里面却未必都是关键词
论文将 Term Source 默认全选,词项可能来自题名、摘要、作者关键词和数据库附加词,却在后文统一称作“关键词”。这也解释了 cell、extract、inhibition 等泛化词为何进入结果:摘要里的普通词与作者主动选择的关键词,不能不加区分地解释。
“便秘”和“中药”还是文献进入中文样本的条件,它们高频很大程度上由研究设计预先决定。论文却把“便秘中心性0.73、中药中心性0.26”等写成关注度和影响力,形成了一个循环:
先用“便秘”和“中药”把文献选进来, 再根据它们在入选文献中很常见, 证明“便秘”和“中药”是研究热点。
这不是软件算错,而是把检索条件制造的高频,当成数据自行发现的新知识。介数中心性描述的是当前网络中的桥接位置,也不是“关注度、影响度”的通用评分。
第七步:几个专业指标,被翻译得太顺了
突现开始,不等于首次出现
论文把 Begin 写成关键词“首次出现”的时间。可突现检测关注的是某段时间内使用强度突然上升,一个词完全可能早已出现。End 也只是突现阶段结束,不代表研究从此停止。
突现强度,不等于一般意义的影响力
突现强度只说明特定时间窗口中的增长变化更显著,不能直接证明研究质量、临床价值或未来热度。
Q值和S值,不会替内容作证
Q 值和平均轮廓值可以评价社团结构和类内一致性[2],但被兽药文献污染的数据同样可能得到结构清晰的聚类。它们不能判断这批节点本来该不该进入研究。
结构合理,不等于语义正确;聚类清楚,也不等于医学解释成立。
Top N网络,不是完整领域的原样复刻
论文每个一年切片只保留 Top 50 节点,大量低频作者、机构和关键词不会进入网络。用这张截断图判断“没有稳定团队”,还需实体消歧、网络指标和阈值敏感性分析。
可机构表同时混入科室、医院和大学三个层级,同一所大学与附属医院又被拆开计算;作者同名、拼音缩写和姓名顺序怎样消歧也未交代。节点都没有先认准,合作网络自然谈不上稳固。
论文的文字也互相冲突:英文作者部分说形成“联系紧密”的团队,英文机构“联系较多”;摘要和结论却又说团队和机构合作较少。没有网络密度等统一指标,“紧密”还是“不紧密”竟取决于写到了哪一段。
指标本身没有错,错的是从指标到结论之间,那几步本应谨慎的翻译被写得太顺。
第八步:从发文曲线,一路讲到了疫情、机制和未来
论文发现 2020—2021 年中文发文量下降,随后推测这可能与新冠疫情导致实验开展困难有关,并预测 2022 年发文量可能继续低于 2021 年。
这并非不可能,但两年的曲线无法区分疫情、收录滞后、出版周期和随机波动,更不足以支撑无模型预测。
讨论部分又进一步延伸到 Cajal 间质细胞、脑肠肽、肠道菌群以及多种中医治疗的机制与疗效。
这些内容可能有文献依据,但文章没有交代代表文献如何选出、对应哪个聚类、是否评价证据质量。读者无法分辨哪些是图谱结果,哪些是合理推断,哪些只是作者追加的外部知识。
到这里,文献分布和关键词关系,又被写成了原因解释、机制判断和未来预测。
一篇论文,是怎样一步步偏离原问题的?
现在把整条链连起来看:
中医药治疗便秘 → 中文侧偏中药、英文侧又可能被拼写和布尔逻辑破坏的检索集合 → 缺少透明筛选和清洗记录的数据 → 混合不同词项来源、经过 Top N 截断和实体拆分的网络 → 被解释为完整的国内外格局、研究热点和未来方向。
到了这里,很难再把它们统称为“几个小疏漏”。
中文漏掉一整类疗法,英文检索式又可能同时漏检和误检;国内外比较没有共同基础,关键词和文献的统计单位发生混淆;机构、作者和词项没有充分规范,合作结论前后冲突;最后,异常的兽医数据不但没有被清除,反而被包装成了热点。
这些问题有一个共同方向:它们让样本越来越不确定,却让结论越来越确定;也让论文离最初的问题越来越远。
这才是文献计量论文真正值得警惕的“逐步失真”。
以后读这类论文,先过五道关
我们没有必要因为一个案例,就否定文献计量学。
面对几千篇文献,它仍然是观察研究结构、合作关系和主题演化的好工具。问题不在于该不该画图,而在于图谱能否经得起下面五道关。

图3 从边界到回读,五道关依次检查“研究了谁、数据怎样来、网络怎样建、结论怎样说、异常怎样追”。
1. 边界关
题目、检索式和实际纳入文献,研究的是同一个对象吗?题目写上位概念时,是否检查了必要的下位类型?
2. 数据关
检索日期、纳排标准、去重、清洗、同义词合并、作者和机构消歧,是否报告到别人能够复核?
3. 网络关
节点和连线到底代表什么?采用了什么阈值、时间切片和剪枝方式?最终图谱是完整网络,还是被筛选后的局部?
4. 解释关
频次、中心性、Q/S 值和突现强度,是否被写成了它们本来不能证明的“质量、影响、因果和未来”?
5. 回读关
遇到异常关键词和难以解释的聚类时,研究者有没有回到代表文献逐条检查?讨论中的机制和趋势,能否追溯到具体数据或原始研究?
BIBLIO、GLOBAL 以及相关方法指南之所以强调数据源、检索日期、纳排标准、数据处理和流程图,并不是为了让方法部分显得更复杂,而是为了让这些关键选择留下痕迹[3,5-6]。近年的实证调查也发现,专题文献计量论文中,检索策略、日期、时间范围和文献类型等信息报告不足并不少见[4]。
说到底,文献计量学最有价值的作用,不是替我们宣布“热点已经发现”,而是告诉我们:接下来应该回到哪些文献,继续读、继续核查、继续提问。
图谱是一张地图。
地图画得再漂亮,也要先问一句:它画的是我们真正想去的那片地方吗?
参考文献
- 李硕, 孙悦阳, 樊景春, 等. 基于CiteSpace的中医药治疗便秘的知识图谱可视化分析[J]. 中国实验方剂学杂志, 2023, 29(4): 167-175. DOI: 10.13422/j.cnki.syfjx.20221712.
- 陈悦, 陈超美, 刘则渊, 等. CiteSpace知识图谱的方法论功能[J]. 科学学研究, 2015, 33(2): 242-253.
- Montazeri A, Mohammadi S, M Hesari P, et al. Preliminary guideline for reporting bibliometric reviews of the biomedical literature (BIBLIO): a minimum requirements[J]. Systematic Reviews, 2023, 12: 239. DOI: 10.1186/s13643-023-02410-2.
- Cabezas-Clavijo A, Milanés-Guisado Y, Alba-Ruiz R, et al. The need to develop tailored tools for improving the quality of thematic bibliometric analyses: Evidence from papers published in Sustainability and Scientometrics[J]. Journal of Data and Information Science, 2023, 8(4): 10-35. DOI: 10.2478/jdis-2023-0021.
- Donthu N, Kumar S, Mukherjee D, et al. How to conduct a bibliometric analysis: An overview and guidelines[J]. Journal of Business Research, 2021, 133: 285-296. DOI: 10.1016/j.jbusres.2021.04.070.
- Ng JY, Liu H, Masood M, et al. Guidance List for Reporting Bibliometric Analyses (GLOBAL): A Two-Round Modified Delphi Study[C]. 20th International Conference on Scientometrics and Informetrics, 2025: 1-25. DOI: 10.51408/issi2025_069.
- Clarivate. Search Operators: Search Operator Precedence[EB/OL]. Web of Science Help, accessed 2026-08-09.