博文

[转载]新一代智能避障：仿生视觉模拟助力安全驾驶 | The Innovation

已有 2258 次阅读 2023-1-18 21:05 |系统分类:科普集锦|文章来源:转载

蝗虫在自然界中长期演化出的LGMD（小叶巨型运动检测器，lobula giant movement detector）神经元和视觉通路，帮助其在高速移动时有效避免与接近目标的碰撞。自动驾驶领域的研究者通过对蝗虫视觉的仿生模拟，取得了较好的避障效果。为进一步优化LGMD模型的自动避障能力，本工作引入了人类在驾驶过程中表现出的两种人为因素（中心注意偏置和双目视觉）。中心注意偏置帮助LGMD模拟了驾驶过程中驾驶者的注意力机制；双目视觉则用两个LGMD模型模拟了人类的双眼结构，以解决避障过程中对立体世界的距离感知问题。通过中心注意偏置和双目视觉的引入，LGMD更加贴合人类在驾驶过程中的避障行为。

Gary J.W. Xu TheInnovation创新 2023-01-13 00:01

动机

目前地面机器人和空中无人机避障的“深度学习+大规模数据+强监督标记”技术框架趋于饱和。它们的发展逐渐面临来自真实开放场景的挑战，包括小数据、弱监督和跨场景。受人类认知的神经结构和过程（例如人类视觉、听觉和触觉系统）以及从日常驾驶任务中学习的知识（例如高级认知系统）的启发，本文报道了一个用于集成碰撞感知和避障的高级认知系统。这种生物启发的认知方法在实际驾驶场景中具有良好的鲁棒性、高自适应性和低功耗的优点。如图1为基于驾驶人因启发性的LGMD自动避障示意图。

薄膜电池-640.png

图1 基于驾驶人因启发性的LGMD自动避障示意图

用于碰撞检测的LGMD

作为运动感知的主要感觉，视觉为导航、航向控制、视线稳定和其他与运动相关的活动提供了关键信息。生物视觉神经网络已在自然界中进化了数百万年，是设计人工视觉系统用于防碰撞的理想模型。作为一种视觉神经结构，蝗虫的LGMD神经元显示出很强的检测运动物体的能力。LGMD神经元（图2）由四层神经网络组成，第一层检测亮度变化，第二层和第三层处理激发和抑制反应之间的相互耦合，最后一层通过阈值比较输出峰值响应。当蝗虫的眼睛察觉到一个接近的物体时，LGMD神经元会受到刺激，将输出一个尖峰信号，警告蝗虫在远处有潜在的危险。LGMD神经元在感知运动物体时的高灵敏度适合于帮助车辆感知正在接近的物体。

薄膜电池-f2-640.png

图2 LGMD 模型

为了利用生物启发视觉在碰撞检测中的优势，本文报道了一种仿生视觉机制，该网络具有与LGMD神经元相似的碰撞选择性。视觉刺激从光感受器（P）层被感知并传递到激发（E）和抑制（I）层，然后视觉信号被分解成ON/OFF通道，这将指示其导航中的亮度增加/降低。ON/OFF通道中的视觉信号在抵达求和（S）层中后分别融合，最后在分组（G）层中全部信号进一步聚合以用于输出。当潜在危险来临时，视觉刺激会激活LGMD神经元以检测潜在的碰撞，蝗虫随后将更新其行为以避免碰撞。

驾驶中的人为因素

到目前为止，只有少数研究考虑了驾驶过程中的人为因素。与前序研究工作不同的是，本研究工作同时讨论了两个重要人为因素对驾驶过程的影响，即中心注意偏置和双目视觉。

中心注意偏置：中心注意偏置是驾驶任务的关键因素，人类视觉会主动搜索即将接近场景中的要点并绑定视觉特征以获得更高的认知理解，即来自中心视野/区域的视觉信息被更多关注，而来自外周视野的视觉信息被较少关注。一旦潜在危险接近，驾驶员的注视或注意力分布在中心视觉区域表现出高度选择性，以提高他们的警觉性。为了反映障碍物检测过程中注视分布的选择性，本研究报道的LGMD考虑了中心注意偏置在接收视觉刺激和将处理后的信号传输到P层中的影响。具体而言，我们提出以高斯模型建模中心注意偏置。图3所示的高斯滤波器被并入LGMD，以凸显视觉刺激的中心区域，同时模糊外周视野的刺激信息，提高了LGMD对运动的敏感性。

薄膜电池-f3-640.png

图3 以高斯模型建模中心注意偏置

智能避障策略

基于以上对LGMD和驾驶中人为因素的讨论，形成了本研究工作的一种智能避障策略（图4）。该策略受蝗虫基于视觉的障碍回避机制的启发，还考虑了中心注意偏置和双目视觉。中心注意偏置被建模并放置在LGMD的P层前面，另外，左LGMD和右LGMD分别处理车辆前方的左摄像机和右摄像机的图像。在物体运动期间，一旦左侧或右侧LGMD检测到碰撞，就会同时触发两个方向选择和碰撞体距离预测程序。本研究比较了左右LGMD模型输出的NMPs（归一化膜电位）值，将NMP值较大的一侧做为所选择的方向；左右LGMD模型的NMP和FFI（前馈抑制）以及当前机器人运动速度被输入到训练的多层感知器（MLP）模型中即可输出预测距离。在方向选择和距离预测的基础上最终导出了最佳电机控制，以优化紧急情况下的避障转向选择。

薄膜电池-f4-640.png

图4 智能避障策略

总结与展望

本文研究了仿生视觉模拟在自动驾驶智能避障的应用，分析了如何基于蝗虫的LGMD神经元和视觉通路构建智能避障系统。为了解决传统LGMD模型的局限性，本研究引入了驾驶过程中的两种人为因素（中心注意偏置和双目视觉），对该模型展开了系统优化。LGMD模型在应用过程中对计算资源依赖小，在自动驾驶智能避障多种技术方案之中具有独特的优势。在真实道路上，不同的天气和照明条件会对驾驶员的视觉和反应能力产生很大影响，这是一个不可忽视的研究挑战。未来，对仿生视觉模型的进一步研究和开发应侧重于处理具有复杂环境的道路场景。

责任编辑

程鑫南京大学

李尚燚北京化工大学

本文内容来自Cell Press合作期刊The Innovation第四卷第一期以Commentary发表的“Bio-inspired vision mimetics towards next generation collision avoidance automation” (投稿: 2022-10-06；接收: 2022-12-16；在线刊出: 2022-12-28)。

DOI: https://doi.org/10.1016/j.xinn.2022.100368

引用格式：Xu G., Guo K., Park S., et al. (2022). Bio-inspired vision mimetics towards next generation collision avoidance automation. The Innovation. 4(1),100368.

原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(22)00164-3

扫二维码｜查看原文

作者简介

孙兆辉，上海交通大学博士，长期从事人在环智能交通系统（Human-in-the-Loop ITS）研究。近二年以第一/通信作者在IEEE Transactions on Intelligent Transportation Systems、IEEE Transactions on Engineering Management、IEEE Transactions on Computational Social Systems等期刊发表学术论文10余篇。参与国家自然科学基金、工信部智能制造/工业互联网专项、上海市经信委/发改委/决策咨询委项目、浙江省自然科学基金等8项，曾获工业互联网产业联盟首届工业APP开发与应用创新大赛全国二等奖，任上海神经科学学会航空神经认知分会委员。

宋爱国，东南大学首席教授，国家杰出青年基金获得者、中国青年科技奖获得者、全国优秀科技工作者，入选国家百千万人才工程和国家“万人计划”。国务院学位委员会仪器科学与技术学科评议组成员。现为东南大学电仪控制学部主任、生物电子学国家重点实验室副主任、空间科学与技术研究院执行院长、机器人传感与控制技术研究所所长。长期从事机器人传感与控制技术、力反馈遥操作机器人技术、空间机器人技术、助老助残康复机器人技术的研究。先后主持国家重点研发项目1项、国家863项目10项、国家973课题1项、国家自然科学基金重点项目3项与面上项目6项等重要课题50余项。作为第一完成人先后获国家技术发明二等奖1项、教育部技术发明一等奖2项、江苏省科技进步一等奖2项、吴文俊人工智能科技进步一等奖1项、中国仪器仪表学会科技进步一等奖1项、中国专利优秀奖1项，以及省部级科技进步二等奖3项、日内瓦国际发明金奖3项等。发表论文300余篇，其中SCI论文200余篇；获发明专利授权100余项，负责编写国家标准5项。

往期推荐

织物计算：无处不在的织物所驱动的计算新范式

► 点击阅读

蛇形机器人在社会发展中扮演着重要角色

► 点击阅读

AI视角下的元宇宙之路

► 点击阅读

钯膜反应器的新应用：优势与挑战

► 点击阅读

百花齐放的硅基量子比特

► 点击阅读

高效稳定的水能收集器

► 点击阅读

MOFs衍生中空多孔纳米材料的合成与应用

► 点击阅读

风力发电的防冰除冰技术任重而道远

► 点击阅读

科学网—[转载]神经髓鞘脂质-神经信息传递的马其顿防线

科学网—[转载]大亚湾实验发布中微子振荡最精确测量结果

科学网—[转载]The Innovation | 太阳爆发活动的数据驱动模拟

科学网—[转载]绝缘量子材料中的热霍尔效应 The Innovation

科学网—[转载]源于牙釉质且超越天然牙釉质 | The Innovation

科学网—[转载]人工智能：科学研究新范式 | The Innovation

科学网—[转载]氮杂环丁烷的简洁构建 | The Innovation

科学网—[转载]超越极限：合理设计钙钛矿/半导体异质结实现器件性能突破 | The Innovation

视频解读：Omicron为什么更加“温和”-科学网视频-科学网 (sciencenet.cn)

第3卷第3期视频解读-科学网视频-科学网 (sciencenet.cn)

The Innovation 创刊视频-科学网视频-科学网 (sciencenet.cn)

期刊简介

扫二维码｜ 关注期刊官微

二维码-new-640.png

The Innovation是一本由青年科学家与Cell Press于2020年共同创办的综合性英文学术期刊：向科学界展示鼓舞人心的跨学科发现，鼓励研究人员专注于科学的本质和自由探索的初心。作者来自全球49个国家；已被113个国家作者引用；每期1/4-1/3通讯作者来自海外。目前有195位编委会成员，来自21个国家；50%编委来自海外；包含1位诺贝尔奖获得者，33位各国院士；领域覆盖全部自然科学。The Innovation已被DOAJ，ADS，Scopus，PubMed，ESCI，INSPEC等数据库收录。秉承“好文章，多宣传”理念，The Innovation在海内外各平台推广作者文章。

期刊官网1（Owner）：

www.the-innovation.org

期刊官网2（Publisher）：

www.cell.com/the-innovation/home

期刊投稿（Submission）：

www.editorialmanager.com/the-innovation

商务合作（Marketing）：

marketing@the-innovation.org

期刊标识

期刊标识-640.jpg