
原文出自FlexTech (柔性技术)期刊
Cite this article:
Park, J., Mok, J., Ha, J., Choi, C. and Kim, D.-H. (2025), Next-Generation Flexible and Stretchable Vision Systems for Advanced Image Acquisition and Processing. FlexTech. https://doi.org/10.1002/fle2.70003
导语
在工业自动化产线,能灵活抓取异形工件的机械臂精准定位;在医疗手术室,可弯曲的内窥镜机器人穿越复杂腔道;在自动驾驶汽车,曲面摄像头清晰捕捉动态路况……,这些曾经存在于科幻电影中的场景,正随着柔性可拉伸视觉系统的突破走进现实。
2025年4月,德州农工大学、韩国基础科学研究院、首尔国立大学与韩国科学技术研究院的联合团队在《FlexTech》发表重磅综述,系统梳理了下一代柔性可拉伸视觉系统的核心进展。该研究通过模仿生物眼睛的精妙结构,结合传感器内计算架构的创新,为机器人视觉赋予了前所未有的环境适应性和智能处理能力,标志着机器视觉从“刚性感知”向“柔性智能”的跨越式发展。
1、传统视觉系统的困境与柔性可拉伸视觉系统的兴起
传统视觉系统的局限:传统刚性成像硬件的视觉系统存在适应能力差、能耗高和处理延迟等问题。在制造业、医疗、自动驾驶和监控等领域,这些问题限制了机器人的工作效率和准确性。例如,在自动化生产线上,传统视觉系统可能无法快速准确地识别形状不规则或位置多变的零件;在医疗手术中,难以适应人体复杂的内部环境进行精准操作;自动驾驶汽车在光线快速变化的场景下,可能出现识别错误或延迟,影响行驶安全。
柔性可拉伸视觉系统的优势:柔性和可拉伸光探测器(PDs)具有出色的弯曲和拉伸性能,能与各种光学和电子设备无缝集成,为先进视觉系统的发展提供了可能。其紧凑的结构、良好的环境适应性和多功能性,使其在动态环境下的机器人视觉应用中表现出色。例如,可穿戴式健康监测设备中的柔性视觉系统,能够贴合人体皮肤,实时采集生理数据;在工业检测中,可弯曲的视觉系统可以深入复杂形状的设备内部,进行全面检测。
2、生物启发的视觉系统:模仿自然的智慧
模仿眼球结构的材料工程:生物眼睛的独特结构为视觉系统的设计提供了灵感。像人类眼睛的单透镜和视网膜结构,使得其能够捕捉高分辨率图像且光学像差极小。受此启发,研究人员利用纳米材料开发出具有类似结构的弯曲图像传感器。如基于硅纳米膜的半球形电子眼(图1),通过弹性转移方法和机械自适应岛桥结构,将硅 PD 阵列转移到 PDMS 基板上,形成半球形几何形状,有效减少光学像差,提高成像质量。二维材料如 MoS₂ 也因其原子级薄的结构和高柔韧性,被用于制造具有高响应率的超薄光晶体管阵列,进一步推动了仿生视觉系统的发展。
图1
模仿眼球结构的器件设计策略:除了材料创新,器件设计也至关重要。研究人员通过各种设计策略,实现了弯曲图像传感器的多种功能。例如,利用形状可调架构开发出具有可调节变焦功能的生物启发数字成像系统,通过控制液压压力,可同时调节透镜和光电二极管阵列的曲率,实现光学放大倍数的调整;基于折纸原理的设计,使二维平面器件能够转变为三维的 MoS₂ / 石墨烯 PD 阵列,不仅具备机械灵活性,还能实现对光照方向、强度和角度发散的实时检测。
模仿复眼结构的视觉系统:昆虫的复眼由多个独立的感光单元组成,具有宽视野和近无限景深的特点。模仿复眼结构,研究人员开发出集成弹性微透镜阵列和柔性硅光电二极管的半球形复眼启发相机(图2)。这种相机通过特殊的结构设计,实现了超宽视野(约 160°)和近乎无限的景深,能够在多个焦平面上实现无像差成像,为全景监控、无人机导航等领域提供了有力支持。
图2
两栖视觉系统:招潮蟹的眼睛能够在水陆两种环境下清晰成像,其独特的角膜晶状体具有渐变折射率结构。受此启发,研究人员开发出模仿招潮蟹视觉的两栖全景成像系统(图3)。该系统采用具有渐变折射率的平面微透镜阵列,在空气和水中都能保持一致的焦距,实现了在不同介质中的清晰成像,为水下机器人和两栖设备提供了可靠的视觉解决方案。
图3
鸟类视觉启发的系统:鸟类眼睛具有出色的目标跟踪和多光谱成像能力。研究人员开发的集成人工中央凹和垂直堆叠钙钛矿图像传感器的视觉系统,模仿鸟类眼睛的结构和功能。通过高斯形状的人工中央凹放大目标物体,增强运动检测能力,同时利用垂直堆叠的钙钛矿 PDs 实现对红、绿、蓝和紫外光的选择性检测,无需额外的滤色器,提高了图像的分辨率和色彩还原度。
适应复杂光照环境的系统:墨鱼生活在光照不均匀的水下环境,其眼睛结构使其能够在这种环境下实现高清晰度成像。模仿墨鱼眼睛的视觉系统,通过 W 形瞳孔平衡垂直光梯度,增强对比度,同时利用基于碳纳米管的柔性偏振膜有效检测线偏振光。受猫眼适应昼夜不同光照条件的能力启发,开发的视觉系统具有可变孔径,能够根据环境光强度调整进光量,提高在不同光照条件下的成像质量和目标检测能力。
3、 传感器内计算架构:高效图像处
传统图像处:传统图像处通过模拟数字转换器(ADC)对原始感官数据进行数字化,然后存储在内存中,再由图像处理器进行预处理,最后传递给后处理器进行高级任务。这种基于冯・诺依曼架构的方法,由于感知、记忆和处理单元的分离,在计算效率上存在固有的局限性,导致数据传输量大、能耗高和处理延迟长。
传感器内计算架构的优势:传感器内计算架构将记忆和处理功能直接集成到传感单元中,减少了冗余的数据采集和内存操作,降低了数据传输量和能耗。这种架构能够显著降低延迟,提高系统的响应速度,使其非常适合机器人视觉应用。
传感器内图像预处理:传感器内预处理系统能够在检测光信号的同时,对原始数据进行优化,生成预处理后的图像数据。通过神经形态机制,如突触可塑性,实现降噪、对比度增强和视觉适应等功能。基于 MoS₂ - 有机异质结构的弯曲神经形态图像传感器阵列,利用光子触发的突触可塑性,有效提高了信噪比,减少了噪声对图像的影响;利用光电阻随机存取存储器(ORRAM)作为传感单元的突触装置,实现了对比度增强,同时降低了背景噪声。
推理:传感器内推理系统能够在内部执行部分分类或识别任务,并与后处理器交换数据以更新权重。通过在传感单元中实现 MAC 操作和突触权重更新,能够完成模式分类和图像编码等高级任务。基于二维材料的神经网络图像传感器,通过优化响应矩阵和利用反向传播算法进行训练,实现了对不同模式的高效分类;开发的宽带传感网络,能够在传感器级别处理颜色信息,实现对彩色图像的分类,且在不同噪声水平下都具有较高的准确性。
4、 应用领域:柔性可拉伸视觉系统的广泛应用
工业制造:在工业制造领域,柔性可拉伸视觉系统能够提高生产线上的检测精度和效率。例如,在电子元件的生产过程中,可弯曲的视觉系统可以对微小的芯片进行高精度检测,及时发现缺陷;在汽车制造中,能够快速准确地识别和组装各种零部件,提高生产效率和产品质量。
医疗领域:在医疗领域,该技术为医疗设备带来了新的突破。如可穿戴的柔性视觉传感器可以实时监测人体健康状况,为远程医疗提供准确的数据;在手术中,柔性内窥镜能够更灵活地进入人体内部,提供更清晰的图像,帮助医生进行精准操作,减少手术风险。
智能交通:在智能交通领域,柔性可拉伸视觉系统有助于提高自动驾驶汽车的安全性和可靠性。例如,安装在汽车上的柔性摄像头可以更好地适应车身的形状,提供更广阔的视野,及时准确地识别道路标志、行人和其他车辆,避免交通事故的发生;在智能物流中,无人机配备柔性视觉系统,能够在复杂的环境中准确地识别货物和目标地点,提高物流配送的效率。
虚拟现实与增强现实:在虚拟现实(VR)和增强现实(AR)领域,柔性可拉伸视觉系统能够提供更真实、更沉浸的体验。通过贴合人体面部的柔性显示和视觉传感技术,能够实现更精确的头部追踪和环境感知,让用户在虚拟世界中感受到更真实的视觉效果,增强 VR/AR 设备的交互性和实用性。
5、 挑战与展望:未来的机遇与发展方向
面临的挑战:尽管柔性可拉伸视觉系统取得了显著进展,但仍面临一些挑战。在光学方面,需要进一步优化和调整光学元件,以适应不同的环境变化,提高对空间细节(如深度信息)的获取能力;在图像处理方面,需要克服传统冯・诺依曼架构的限制,开发能够处理多种数据类型的先进算法,并建立定量评估传感器内视觉计算系统的方法;在集成方面,缺乏可扩展和可靠的集成技术,难以将图像采集和处理功能无缝集成到统一平台,且与现有机器人平台的集成也存在困难。
未来展望:未来,柔性可拉伸视觉系统有望在多个领域实现突破。随着技术的不断进步,其在工业、医疗、交通和VR/AR等领域的应用将更加广泛和深入。例如,在工业4.0时代,将进一步提高生产的智能化水平;在医疗领域,有望实现更精准的疾病诊断和治疗;在智能交通中,助力自动驾驶技术的全面普及;在VR/AR领域,带来更加身临其境的体验。研究人员将继续致力于解决当前面临的挑战,不断创新和优化技术,推动柔性可拉伸视觉系统向更高性能、更实用的方向发展,为未来的智能生活奠定坚实基础。
结语
从模仿生物眼睛的精妙结构,到在像素级别实现智能计算,柔性可拉伸视觉系统的突破标志着机器人视觉从“看得到”向“看得懂、反应快”的历史性跨越。随着技术的持续迭代,我们有望在未来五年内看到首批商用化的全柔性视觉模组,届时,智能设备将拥有更敏锐的 “眼睛” 和更迅捷的 “大脑”,为智能制造、精准医疗、无人系统等领域开辟无限可能。这场始于自然启发的技术革命,正以创新为笔,在柔性电子的画布上绘制出智能感知的全新图景。
《柔性技术(英文)》(FlexTech)期刊简介
《柔性技术(英文)》(FlexTech)是由清华大学主办、清华大学柔性电子技术国家级重点实验室提供学术支持、清华大学出版社编辑出版、Wiley出版机构海外发行的全新国际学术期刊。期刊由清华大学冯雪教授担任主编,新加坡国立大学Chwee Teck Lim教授、韩国光州科学技术院Young Min Song教授、澳大利亚悉尼大学Kourosh Kalantar-Zadeh教授等担任副主编,美国西北大学John A. Rogers教授和黄永刚教授等为期刊咨询委员会成员。
期刊主页:
https://www.sciopen.com/journal/2771-1706
https://onlinelibrary.wiley.com/journal/27711714
投稿地址:https://wiley.atyponrex.com/journal/FLE2
期刊邮箱:flextech@tup.tsinghua.edu.cn
转载本文请联系原作者获取授权,同时请注明本文来自清华大学出版社学术期刊科学网博客。
链接地址:https://wap.sciencenet.cn/blog-3534092-1484739.html?mobile=1
收藏