封面 | 光电智能计算，实现计算新速度

封面解读：封面元素主要包括光电子芯片、微控制电路，以及象征着智能的大脑结构，说明光电智能计算是集成光子学、微电子学和人工智能的交叉和融合。光电智能计算充分融合了光学的多维复用、大带宽、低能耗等优势和电学的细粒度灵活控制特性，具有光算电控和软硬协同的特点，已经在人工智能推理、大规模数据并行计算等领域展现出了极大的潜力。

文章链接：成骏伟, 江雪怡, 周海龙, 董建绩. 光电智能计算研究进展与挑战[J]. 中国激光, 2022, 49(12): 1219001

一、背景介绍

近十年里，人工智能技术爆炸式增长，全球计算量急剧增长，迫切需要以快速、高效的方式处理海量数据。然而,基于冯·诺依曼架构的电子计算机的局限性日渐凸显，摩尔定律放缓甚至失效，仅通过提高集成密度和工作频率来进一步提高微电子芯片的信息处理能力已经难以为继，迫切需要新的计算硬件来打破传统微电子计算框架的固有限制。

光电智能计算用光子代替电子进行计算，可以克服电子固有的局限性而显著提高计算速度和能效。光电智能计算飞速发展，各种应用陆续出现，但是对于光电智能计算领域中的算力、能效和算法的系统梳理还比较欠缺，因此硬件友好的算法和计算硬件的算力、能效成为了人工智能发展的关键。

本文首先回顾了光电智能计算领域的发展历史和研究进展，然后对算力、能效和算法进行了系统梳理，并针对在线训练算法和计算性能指标提升等现阶段重要挑战进行了探讨，最后对光电智能计算的发展趋势进行了展望。

二、关键技术进展

1、光学MVM的三种主要类型及应用

近年来，光电智能计算领域的研究得到了蓬勃发展，矩阵矢量乘法（MVM）作为最基本的矩阵计算之一，在现代信号处理和人工智能算法中占用了大部分计算开销。目前主流的光学MVM有三种类型，分别是基于平面光转换（PLC）的矩阵计算、基于马赫-曾德尔干涉仪（MZI）的矩阵计算和基于波分复用（WDM）的矩阵计算，如图1所示。

图1 光学MVM的类型。（a）基于PLC的光学MVM；（b）基于MZI的光学MVM；（c）基于WDM的光学MVM

基于PLC的光学MVM是通过光在自由空间的衍射实现的。最早的可编程光学MVM是用基于单平面光转换（SPLC）的空间光学元件演示的，随后被提出的多平面光转换（MPLC）架构，极大地拓展了运算规模，但是MPLC架构仍受限于数据刷新速率和空间带宽积，而且空间光学元件占地面积较大，目前已经有一些MPLC架构的集成化实现的工作。

通过MZI网络进行模拟相干运算，具有可扩展性强、能效高、和可编程性强等优点。三角形的MZI网络于1994年被提出，2016年，矩形和菱形的MZI网络也相继被提出。2017年，Shen等基于三角形级联MZI网络的构建了全连接神经网络，成功实现了元音识别，成为了光计算的重要里程碑。华中科技大学武汉光电国家研究中心董建绩教授课题组一直致力于片上光电智能计算架构和算法的研究，聚焦光学信号处理和人工智能计算领域的关键问题，取得了多功能片上偏振处理器、Google PageRank光子计算加速器以及自配置、完全可重构的硅光信号处理器等重要进展，拓展了MZI网络的应用场景。

基于WDM的光学MVM是一种非相干矩阵计算方法。本研究团队提出了一种MZI辅助的MRR（MZI-MRR）结构，并基于MZI-MRR阵列实现了可编程脉冲处理器和用于图像处理的光学卷积加速器。此后，国内外的研究机构关于WDM架构的工作还包括引入相变材料（PCM）、张量计算的概念和孤子微腔光频梳。孤子微腔光频梳可以充分发挥光在波长维度的潜力，相关工作包括2021年Feldmann等提出的基于孤子微腔光频梳和PCM阵列的集成光子张量核和同年Xu等提出的利用时间-波长交织实现的通用光学矢量卷积加速器。

光子智能计算领域方兴未艾，图2总结了在光学神经网络和光学信号处理等方面取得的成果，包括全连接神经网络、卷积神经网络、脉冲神经网络、储备池计算、非线性激活函数等光学神经网络计算，以及模式解扰、模式分析、光学加密与感知、偏振分析、频谱整形等智能光学信号处理应用。

图2 光电智能计算的应用总结

2、在线训练

人工智能算法可分为训练和推理两部分，目前多数光电智能计算芯片都采用“电域训练，光域推理”的方法实现人工智能算法，即在电子计算机上对神经网络的仿真模型进行训练，再将训练出的模型参数加载到光子芯片上进行推理。然而这种离线训练明显存在数值仿真模型与实际物理模型之间的差异，更重要的是，如果光子计算芯片的神经网络实现始终需要依赖于电域的训练，那么光子芯片相比于微电子芯片所具备的低延迟、高能效等性能优势则无法充分发挥。因此，开发硬件友好的光电智能计算在线训练算法是一个关键挑战。

图3展示了通过BP算法在集成光学神经网络及衍射光学神经网络实现在线训练的流程图。2018年，斯坦福大学Hughes等基于伴随变量法实现了反向传播（BP）算法的光子模拟，从理论上证明了BP算法可以在基于光学干涉计算单元（OIUs）的光学神经网络芯片中实现，其算法流程如图3（a）所示。2020年，清华大学的研究团队提出了一种衍射光学神经网络的在线训练方法，将BP算法光学化，实现对线性和非线性衍射光学神经网络的在线训练，提高了核心计算模块的训练速度和能量效率，其前向传播和反向传播流程分别如图3（b）、（c）所示。

图3 基于BP算法在线训练光学神经网络。（a）集成光学神经网络芯片[1]；（b）衍射光学神经网络的前向传播[2]；（c）衍射光学神经网络的反向传播[2]

图4展示了通过随机梯度下降（SGD）算法在线训练光电智能计算芯片的流程及应用。本研究团队主要聚焦片上在线训练算法研究，针对光子芯片的片上MZI网络架构的隐式计算特点，提出一种面向光子芯片的SGD算法，其简要流程如图4（a）所示。其应用包括多功能片上偏振处理器、Google PageRank光子计算加速器以及自配置、完全可重构的硅光信号处理器，分别如图4（b）~（d）所示。

图4 通过SGD算法在线训练光电智能计算芯片。（a）SGD算法的简要流程；（b）多功能片上偏振处理器[3]；（c）用于Google PageRank算法的光子加速器[4]；（d）自配置、完全可重构的硅光信号处理器[5]

3、算力能效

作为微电子芯片的竞争对手，光电智能计算芯片在算力和能效上需要突破传统微电子芯片的技术局限，因此，算力和能效是光子运算芯片中备受关注的核心问题。图5总结了光电智能计算芯片算力和能耗的影响因素，并梳理了目前主流的三种光电智能计算架构的算力和能效指标的评价方法。

图5 算力和能耗的影响因素

根据算力和能耗的影响因素，可以分别从复用多个维度提高计算的并行性、提升输入信号速率、提升单次运算规模三个方面探索进一步提高算力的途径。降低能耗也可从三个方面入手：降低光路中的能耗、提高光电/电光转换效率以及降低电学层的能耗。此外，在芯片设计中应尽量减少定向耦合器和交叉波导的使用，规避可能增大噪声的设计，同时使用更加节能高效的非线性光学器件。

三、总结与展望

光电智能计算充分融合光学的多维复用、大带宽、低能耗等优势和电学的细粒度灵活控制，具有光算电控和软硬协同的特点，是一种更实用、更有竞争力的人工智能计算加速方案。目前，光电智能计算领域正处于挑战与机遇并存的发展阶段，一方面，光电智能计算技术已经在光学神经网络和智能信号处理的诸多应用实例上崭露头角，为实现低延迟、高带宽和低能耗智能计算开辟了道路。但另一方面，目前实验验证的光学神经网络大多是遵循简单人工神经网络模型的演示系统，仅能够完成一些较为初级的深度学习任务，光电智能计算在大规模集成、在线训练、性能提升、产业化等方面仍然存在许多挑战亟待解决。

可以期待，随着集成光子学、微电子学、人工智能和材料科学等多学科领域之间的密切交流与合作，先进的光电集成与制造技术的发展以及与性能优异的新材料、器件的不断涌现，光电智能计算系统的性能有望进一步增强。未来通过软硬件协同、光电融合一体的定制化设计，将有力推动光电智能计算的发展，突破现阶段的难题和瓶颈，开启人工智能计算新时代。

参考文献

[1] Hughes T W, Minkov M, Shi Y, et al. Training of photonic neural networks through in situ backpropagation and gradient measurement[J]. Optica, 2018, 5(7): 864-871.

[2] Zhou T K, Fang L, Yan T, et al. In situ optical backpropagation training of diffractive optical neural networks[J]. Photonics Research, 2020, 8(6): 940-953.

[3] Zhou H L, Zhao Y H, Wei Y X, et al. All-in-one silicon photonic polarization processor[J]. Nanophotonics, 2019, 8(12): 2257-2267.

[4] Zhou H L, Zhao Y H, Xu G X, et al. Chip-scale optical matrix computation for PageRank algorithm[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2020, 26(2): 8300910.

[5] Zhou H L, Zhao Y H, Wang X, et al. Self-configuring and reconfigurable silicon photonic signal processor[J]. ACS Photonics, 2020, 7(3): 792-799.

课题组简介

华中科技大学武汉光电国家研究中心董建绩教授课题组长期从事集成光计算、集成微波光子学等方面的研究工作，研究采用光学手段研究各类计算问题和微波信号处理问题，突破微波处理和电子计算中的瓶颈，实现算力提升、能耗降低、带宽增大和尺寸减小。在光计算方面，重点研究以人工智能为代表的光子模拟计算系统及其应用、通用型全光数字计算系统、通用型光电混合数字计算系统及其应用。目前课题组在光电子领域期刊Nature Communications、Light Science & Applications等发表论文100余篇，3篇入选ESI高被引论文，在国际学术会议做邀请报告近30次。近五年承担国家自然科学基金、重点研发计划等项目。