精选
AI对科研真正的威胁来自“我们如何获取科研信息”。
人工智能聊天机器人已在扭曲科研——我们必须立即制定其使用准则
本文原文地址AI chatbots are already biasing research — we must establish guidelines for their use now作者Zhicheng LinZhicheng Lin is a metascientist and psychologist at Yonsei University, Seoul, South Korea.
学术界已开始关注人工智能工具如何协助研究人员撰写论文，却尚未重视它们会如何扭曲科研人员选择引用的文献。
人工智能（AI）系统正大量抓取网络内容，却很少将用户引导至文献所属的出版商平台。美国互联网安全公司Cloudflare的首席执行官马修·普林斯（Matthew Prince）表示，2025年初，美国公司OpenAI每为出版商网站引导1名访客，就会抓取约250页资料；到2025年年中，这一数字飙升至1500页。同期，美国AI初创公司Anthropic的抓取速率增长更为迅猛：从6000页增至60000页。即便是长期因能为出版商带来访问流量而被视为“助力”的科技巨头谷歌，在推出“AI综述”（AI Overviews）功能后，其“抓取页数与引导访客数比”也从6页增至18页，翻了三倍。如今的信息生态系统已被“问答引擎”主导——这类AI聊天机器人能直接整合并传递信息，而用户对其答案的信任度也达到了前所未有的高度。
作为一名元科学与心理学领域的研究者，我认为这种转变是一代人以来知识探索领域最重要的变革。尽管这些工具解答问题的速度往往比搜索引擎更快、准确性也更高，但这种效率背后暗藏代价。除了导致出版商网站访问量锐减，还有一个更隐蔽的问题——并非AI的“幻觉”（即可以修正的虚构内容），而是这些系统向用户呈现真实信息时存在的偏差与漏洞。
人工智能会加速文献综述，还是使其彻底偏离方向？
不妨试想，当研究人员让AI工具推荐所在领域的同行评审专家时会发生什么。一项聚焦物理学领域的研究发现，AI系统会过度推荐那些被科研人员归为“白人姓名”的学者，而对被归为“亚裔姓名”的学者推荐不足（D. Barolo等人，arXiv预印本，https://doi.org/p46k；2025年）。算法会根据领域、场景及查询表述的不同，放大各种不同类型的偏见。
这种扭曲还延伸到了文献本身，我本人就曾亲眼目睹。当AI系统推荐研究论文时，它们会持续加剧“马太效应”——即高被引文献获得的引用量越来越多，而知名度较低的研究则始终无人问津。在AI生成的推荐文献中，超60%属于被引次数最多的前1%文献，这一比例是人类筛选参考文献列表的两倍多（A. Algaba等人，arXiv预印本，https://doi.org/p46m；2025年）。AI系统已内化了人类的引用模式，并将其放大到了极致。
尽管这些工具的影响力日益增强，但关于“AI辅助信息检索”的研究仍十分有限。这一研究缺口反映出，在应对AI在科研领域日益重要的作用时，各机构存在一个普遍的盲区。现有政策多聚焦于“AI辅助论文撰写”的伦理问题——例如制定负责任使用的原则，涉及原创性、可追溯性和透明度等方面。然而，真正的威胁并非来自“我们如何撰写科研成果”，而是来自“我们如何获取科研信息”。
过度依赖人工智能驱动的建模为何对科研不利？
研究人员会仔细核查AI生成的文字内容，却在无形中让这些系统决定“引用哪位学者”“哪些方法看似相关”“哪些研究方向可能具有前景”。即便底层信息已被扭曲，他们仍会接受AI输出的结果。这种失衡尤为令人担忧，因为“自主研究代理”——即旨在大规模开展文献综述甚至实验的AI工具——正日益接近现实。
解决之道并非禁止AI工具，这既不现实，也会适得其反。相反，我们必须制定准则：在利用这些新兴系统优势的同时，主动规避其缺陷。
首先，科研人员与资助机构必须牵头制定研究议程，测试这些系统在真实学术工作流程中的表现。这包括评估AI驱动的网络搜索中存在的偏见风险，以及应对“提示注入”等威胁——即通过隐藏的恶意指令操控模型输出结果。
人工智能、同行评审与科研中的人类能动性
其次，学术机构必须提供培训项目，帮助研究人员掌握相关技能与策略，将AI工具视为“能力强大但并非无懈可击的助手”。培训内容应包括：如何使用AI的高级功能（如AI驱动的搜索工具、深度研究工具，以及谷歌NotebookLM这类基于研究人员个人筛选文档而非开放网络文档的系统）；如何根据AI的局限性调整查询方式。例如，针对某个主题，研究人员不应让AI推荐“最重要的论文”，而应学会引导AI提供多样化视角，比如询问“对X理论有哪些批评意见？”或“哪些青年学者正在研究Y领域？”。
第三，由于科研资助申请中AI整理的文献综述占比日益提高，评审专家组需要接受培训，以识别AI影响的痕迹——例如过度依赖少数高被引论文，或系统性遗漏存在争议的研究、方法多样的研究。
学术界必须认识到：那些影响“我们如何获取知识”的系统，应与影响“我们如何产出知识”的工具一样，接受同等程度的审视。塑造这一结果的机会正逐渐减少，当下制定的准则，将在未来多年里影响科研的走向。
转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。
链接地址：https://wap.sciencenet.cn/blog-41174-1501226.html?mobile=1
收藏
