引用本文

潘雨辰, 贾克斌, 张铁林. 前额叶皮层启发的Transformer模型应用及其进展. 自动化学报, 2025, 51(7): 1403−1422 doi: 10.16383/j.aas.c240538

Pan Yu-Chen, Jia Ke-Bin, Zhang Tie-Lin. The application and progress of prefrontal cortex-inspired transformer model. Acta Automatica Sinica, 2025, 51(7): 1403−1422 doi: 10.16383/j.aas.c240538

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240538

关键词

生物结构，类脑智能，前额叶皮层，Transformer，世界模型 

摘要

聚焦于生物结构与类脑智能的交叉研究方向, 探讨前额叶皮层的结构及其认知功能对人工智能领域Transformer模型的启发. 前额叶皮层在认知控制和决策制定中扮演着关键角色. 首先介绍前额叶皮层的注意力机制、生物编码、多感觉融合等相关生物研究进展, 然后探讨这些生物机制如何启发新型的类脑Transformer架构, 重点提升其在自注意力、位置编码、多模态整合等方面的生物合理性与计算高效性. 最后, 总结前额叶皮层启发的类脑新模型, 在支持多类型神经网络组合、多领域应用、世界模型构建等方面的发展与潜力, 为生物和人工智能两大领域之间交叉融合构建桥梁.

文章导读

近年来, 随着生物脑图谱检测技术的不断发展, 前额叶皮层 (Prefrontal cortex, PFC) 在生物神经科学领域的研究取得显著进展, 人们对PFC的结构与功能有着更深刻的认识. PFC是大脑中负责高层次认知功能的核心区域, 具有决策制定、工作记忆和认知控制等高级认知功能. 通过对PFC的深入研究, 科学家们能够更全面地理解人类行为背后的神经基础, 并以此探索出相关的神经疾病治疗方法. 与此同步, 人工智能(Artificial intelligence, AI)领域也在蓬勃发展, 特别是2017年Transformer模型的提出为AI领域带来深刻的变革. Transformer模型作为一种基于自注意力机制的深度学习架构, 已经在自然语言处理、计算机视觉等多个应用领域中展现出卓越的效果. 有意思的是, 人工智能领域的大模型架构是以Transformer为基本单元堆叠而成, 与之相似, 生物智能领域的PFC架构也是以类似的皮质柱结构为基本单元复用实现, 两者的殊途同归给研究者带来更大的信心和兴趣, 探讨更多的可能路径去融合、启发、促进两者的向前发展. 

随着对PFC结构与功能研究的逐步深入, 以及Transformer模型在AI领域的广泛成功应用, 把生物理论与人工智能相结合的跨学科研究必将是进一步促进新一代人工智能模型发展的关键动力. 通过将PFC的生物机制与Transformer模型架构相结合, 可以实现更符合“人类认知特征”的AI模型, 这种结合不仅有助于提升AI模型在处理复杂任务时的性能, 而且还可以搭建起生物脑智能和人工智能之间的桥梁, 为AI for Neuroscience提供新视角. 

如图1所示, 本文首先在第1节中对PFC进行生物层面的分析, 对它所具有的功能以及目前在类脑智能领域的应用进行介绍. 在第2节中通过三个部分进一步重点阐述PFC在三个方向上对于Transformer模型的启发, 包括注意力机制启发、生物编码原理启发、多感觉融合功能启发等, 并分别阐述这些启发在可解释性、低能耗性等方面的优势. 接着, 第3节中阐述PFC启发Transformer等神经网络模型的相关讨论和未来发展方向. 最后, 在第4节中进行总结与归纳. 

图 1  PFC启发Transformer结构

图 2  PFC生物功能启发生物功能模型与神经网络架构

图 3  PFC与类脑智能相互促进、共同进步

本文通过总结生物学中前额叶皮层的注意力机制、生物编码、多感觉融合等功能, 并与人工智能领域Transformer模型的自注意力机制、位置编码、多模态能力进行一一对应, 从而挖掘出前额叶皮层启发Transformer模型已有的研究进展以及未来可行的研究思路. 伴随着前额叶皮层和Transformer在各自领域的不断发展, 相信未来会出现更多生物结构与功能启发人工智能模型的新发现, 也相信我们终将会搭建起连接生物与人工智能两大领域的类脑计算桥梁.

作者简介

潘雨辰

北京工业大学信息科学技术学院硕士研究生, 中国科学院脑科学与智能技术卓越创新中心联合培养学生. 2019年获得北京工业大学工学学士学位. 主要研究方向为类脑模型算法.E-mail: 18201335023@sina.cn

贾克斌

博士, 北京工业大学信息科学技术学院教授. 主要研究方向为图像/视频处理技术与生物医学信息处理技术.E-mail: kebinj@bjut.edu.cn

张铁林

中国科学院脑科学与智能技术卓越创新中心研究员. 主要研究方向为类脑脉冲神经网络算法, 类脑芯片及AI for Neuroscience研究. 本文通信作者.E-mail: zhangtielin@ion.ac.cn