编者注：

科学发现是人类最复杂的活动之一，包括掌握现有知识、填补研究空白、设计实验、分析结果和解读数据。Sakana AI实验室最近宣布他们开发了一种“AI科学家”，据称能够全自动进行科学研究。该系统利用生成式大语言模型（LLM）来进行头脑风暴、设计算法、绘制图表、撰写论文，并且成本低廉。这些主张相当大胆，但它们真能实现吗？

图片来源：Wes Cockx & Google DeepMind

计算机如何“研究科学”

很多科学研究是在通过分析公共数据库内容进行的，成千上万的科学论文可以在arXiv和PubMed等存储库中免费获得。使用在这些存储库中的数据进行训练的LLM捕捉了科学的语言及其模式。因此，生成式LLM能够生成貌似优质科学论文的内容，也许这并不令人惊讶——考虑到它已经吸收了许多可以模仿的范例。然而，尚不清楚的是，AI系统能否生成一篇有吸引力的科学论文。最关键的是，优秀的科学研究需要创新性。

AI论文真能有吸引力吗？

科学家想要学习新事物，尤其是那些与现有知识显著不同的新事物，这就需要对贡献的范围和价值进行判断。

Sakana系统试图通过两种方式解决“吸引力”问题。首先，它通过在Semantic Scholar存储库中检索现有研究来“评分”新论文的创意。任何过于相似的内容都会被舍弃。其次，Sakana的系统引入了“同行评审”步骤——使用另一种LLM来评估生成论文的质量和创新性。在这方面，openreview.net等网站上有大量的同行评审范例可以作为指导。

AI可能难以评估AI输出的质量

关于Sakana AI的输出，反馈意见不一。有些人认为它在生成“无尽的科学垃圾”。即使由该系统自身对其输出进行评估，也仅将这些论文评估为较为薄弱。随着技术的发展，这一情况可能会有所改善，但自动化科学论文的价值问题依然存在。LLM评估研究质量的能力也是一个未解的问题。

AI工具应帮助科学家而非取代他们

一些专门的搜索工具利用AI来帮助科学家寻找和综合现有工作。这些工具包括前面提到的Semantic Scholar，还有较新的系统如Elicit、Research Rabbit、scite和Consensus。

像PubTator这样的文本挖掘工具更深入地探讨论文，识别重点内容。这对于科学信息的整理和组织尤其有用。机器学习也被用来支持医学证据的综合和分析，比如Robot Reviewer等工具。通过Scholarcy对论文中的论点进行比较和对比的摘要，有助于进行文献综述。所有这些工具的目的都是帮助科学家更有效地开展工作，而不是取代他们。

AI研究可能加剧现有问题

尽管Sakana AI宣称它不认为人类科学家的作用会减弱，但该公司所设想的“完全由AI驱动的科学生态系统” 将对科学领域产生深远的影响。有一个担忧是，如果科学文献中充斥着AI生成的论文，未来的AI系统可能会以这些输出作为训练数据，进而发生模型崩溃。这可能导致它们的创新能力越来越弱。

然而，这对科学的影响远远超出了AI科学系统本身的影响。科学界中已经存在一些不良行为者，包括那些批量生产假论文的“论文工厂”。当一篇科学论文可以通过15美元和一个模糊的初始提示来生成时，这个问题只会变得更加严重。

在一个AI系统在其中扮演关键角色的科学生态系统中，引发了对科学过程意义和价值的根本性质疑，同时也对我们对AI科学家应持有何种程度的信任提出了问题。这种科学生态系统是我们所希望的吗？

参考文献：

https://theconversation.com/a-new-ai-scientist-can-write-science-papers-without-any-human-input-heres-why-thats-a-problem-237029

翻译整理：Wendy