能独立科学研究的AI来了！

科学可以完全自动化吗？一个机器学习研究人员团队现在已经尝试了。

科学研究包括阅读分析文献，提出问题，设计解决问题的研究方案，开展研究，根据研究结果分析问题，写出研究报告发表学术论文等系列工作。这些步骤中，除了具体试验外，AI都可能完成地比人效率高，甚至质量也好。但如果把所有的工作一起完成，目前AI似乎还不行。不过人类科学家能高效完成所有内容的也不多。大多数科学家只特别擅长某些部分的工作。科学研究的全步骤自动化，目前已经部分实现，相信这只是一个开始，未来将越来越强大，到完全超乎想象。那个时候，科学家也面临被AI淘汰的尴尬局面。

“AI Scientist”由东京公司 Sakana AI 以及加拿大和英国的学术实验室的团队创建，从阅读有关问题的现有文献和为新的发展提出假设，到尝试解决方案和撰写论文，执行整个研究周期。AI Scientist 甚至承担了同行评审员的一些工作，并评估自己的结果。

AI Scientist 加入了大量工作，以创建至少使部分科学过程自动化的 AI 代理。“据我所知，还没有人在一个系统中完成整个科学界的工作，”AI Scientist 的联合创始人、加拿大温哥华不列颠哥伦比亚大学的机器学习研究员 Cong Lu 说。结果1本月发布在 arXiv 预印本服务器上。

[2408.06292] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery (arxiv.org)

“他们做到了端到端的工作，这令人印象深刻，”西雅图华盛顿大学（University of Washington）的计算社会科学家杰文·韦斯特（Jevin West）说。“我认为我们应该尝试这些想法，因为有可能帮助科学。”

到目前为止，输出并不惊天动地，系统只能在机器学习本身的领域进行研究。特别是，AI Scientist 缺乏大多数科学家认为从事科学工作的关键部分——进行实验室工作的能力。“从提出假设的 AI 到在机器人科学家中实施它，还有很多工作要做，”劳伦斯伯克利国家实验室和加州大学伯克利分校的材料科学家 Gerbrand Ceder 说。尽管如此，Ceder 补充说：“如果你展望未来，我毫不怀疑这就是大部分科学的发展方向。

自动化实验

AI Scientist 基于大型语言模型 （LLM）。使用一篇将机器学习算法描述为模板的论文，它从搜索文献中寻找类似的工作开始。然后，该团队采用了一种称为进化计算的技术，该技术的灵感来自达尔文进化论的突变和自然选择。它逐步进行，对算法进行微小的随机更改，并选择提高效率的算法。

为此，AI Scientist 通过运行算法并测量它们的性能来进行自己的“实验”。最后，它产生一篇论文，并以一种自动的同行评审方式对其进行评估。以这种方式 “扩充文献 ”之后，该算法可以重新开始循环，建立在自己的结果之上。

作者承认，AI 科学家撰写的论文仅包含增量发展。其他一些研究人员在社交媒体上的评论中严厉批评。“作为期刊的编辑，我可能会拒绝他们。作为评论者，我会拒绝他们，“Hacker News 网站上的一位评论者说。

韦斯特还说，作者对研究人员如何了解他们领域的现状采取了简化的观点。他们所知道的很多信息都来自其他形式的交流，例如参加会议或与饮水机旁的同事聊天。“科学不仅仅是一堆论文，”韦斯特说。“你可以进行 5 分钟的对话，这比 5 小时的文献学习要好。”

West 的同事 Shahan Memon 对此表示赞同，但 West 和 Memon 都称赞作者将他们的代码和结果完全开放。这使他们能够分析 AI 科学家的结果。例如，他们发现，在选择早期的论文作为参考文献时，它存在 “受欢迎程度偏差”，而偏向于那些引用次数高的论文。Memon 和 West 表示，他们还在研究衡量 AI Scientist 的选择是否是最相关的。

重复性任务

当然，AI Scientist 并不是第一次尝试至少将研究人员工作的各个部分自动化：自动化科学发现的梦想与人工智能本身一样古老——可以追溯到 1950 年代，耶路撒冷艾伦人工智能研究所的计算机科学家汤姆·霍普 （Tom Hope） 说。例如，早在十年前，Automatic Statistician 就已经2能够分析数据集并撰写自己的论文。Ceder 和他的同事们甚至已经实现了一些工作台工作的自动化：他们去年推出的“机器人化学家”可以合成新材料并对其进行实验3.

霍普说，目前的LLM “除了基本的流行语的肤浅组合之外，无法制定新颖和有用的科学方向”。尽管如此，Ceder 表示，即使 AI 无法在短期内完成更具创造性的工作部分，它仍然可以自动化研究中许多更具重复性的方面。“在低层次，你试图分析某物是什么，某物如何反应。这不是科学的创造性部分，但它是我们工作的 90%。Lu 说，他也从许多其他研究人员那里得到了类似的反馈。“人们会说，我有 100 个想法，但我没有时间去做。让 AI 科学家来做这些。

Lu 说，为了拓宽 AI Scientist 的能力，甚至抽象出机器学习以外的领域，例如纯数学，它可能需要包括语言模型之外的其他技术。例如，Google Deep Mind 最近解决数学问题的结果显示了将 LLM 与 “符号” AI 技术相结合的力量，这些技术将逻辑规则构建到系统中，而不仅仅是依赖它从数据中的统计模式中学习。但他说，目前的迭代只是一个开始。“我们真的相信这是 AI 科学的 GPT-1，”他说，指的是加利福尼亚州旧金山 OpenAI 的早期大型语言模型。

韦斯特说，这些结果引发了一场辩论，这是当今许多研究人员最关心的问题。“我所有在不同科学领域的同事都在试图弄清楚，AI 在我们的工作中处于什么位置？它确实迫使我们思考 21 世纪的科学是什么——它可能是什么，它是什么，它不是什么，“他说。