南京大学最新研究:动动眼球就能“控制”世界
2024-05-17 13:58
来源:南京大学微信公号

 

2024年4月,南京大学现代工程与应用科学学院徐飞教授、陆延青教授,南京航空航天大学陈烨研究员团队同江苏省人民医院袁松涛主任团队提出了一种具有眼动追踪功能的隐形眼镜。基于频率编码策略,该隐形眼镜具有无线无源、轻量无感、柔软安全的特点,能够实现高精度的眼动追踪和眼动命令识别,有望在人机交互、眼脑医学诊疗、眼-脑科学研究、心理学研究等领域展开应用。相关成果于近日发表于国际学术期刊《自然·通讯》。

射频器件植入隐形眼镜  闭眼也能捕捉眼动信号

5月13日,在南京大学现代工学院光电智能感知实验室,论文第一作者、南京大学2020级博士生朱衡天展示了这款眼动追踪隐形眼镜。

图1:论文第一作者,南京大学2020级博士生朱衡天进行实验操作

透明医疗级硅橡胶材质的厚度在100微米左右,四周平均分布着4个金色圆圈,也就是射频器件,这是捕捉眼动信号的关键。

“我们在隐形眼镜中植入了四个射频器件,封装在在隐形眼镜的四周。当外部负责通讯的无线射频装置向隐形眼镜发出射频信号时,如果眼球移动了,反射回无线射频装置的射频信号的频率和强度就会发生变化。通过分析信号的数据,我们就能知道眼动的轨迹。”论文通讯作者、南京大学徐飞教授介绍。

传统的眼动追踪装置多采用红外设备或图像采集设备来追踪眼动信息,这种技术易受到眼睑、睫毛遮挡的干扰和瞳孔、虹膜等个体差异的影响,无法跟踪睡眠状态下人眼的运动轨迹。徐飞教授与合作者大胆创新,采用轻量简约的眼动追踪设计,将射频器件集成在隐形眼镜里,利用无线射频装置与隐形眼镜的信号传输,实现了闭着眼睛的状态下,也能捕捉到眼动信号。

图2:具有眼动追踪功能的隐形眼镜

为何要在隐形眼镜上实现眼动追踪功能?

“眼动追踪技术是进行人机交互的关键技术,比如我们常用手柄来控制无人机(车)和机器人等,但手柄的响应速度和精确度是比不过眼睛的。要想‘指哪打哪’,最终要实现对眼球运动轨迹的高精度提取,然后及时反馈。”

徐飞介绍,这款隐形眼镜有多种应用场景,“手脚不方便的人,可以解放双手,用它控制外部设备。另外,在进行AR、VR体验时,根据实时眼动角度使用视网膜渲染技术,减少用户眩晕感,节省图形渲染计算资源。从医学角度讲,通过监测微眼颤、睡眠快速眼动期、斜视,可以进行眼脑医学诊疗、开展心理学研究等。”

制备的器件比头发丝还薄  与隐形眼镜合二为一

如何让器件适应隐形眼镜的结构是团队遇到的一大难题。“隐形眼镜是一个球状的三维曲面,它非常薄,而我们常用的器件是平面硅基器件,质地坚硬还有一定厚度,两者是完全不匹配的。”朱衡天介绍,他们经过细致分析和多次试验,最终选取了铜和聚酰亚胺,通过微纳加工制备工艺,制作出只有约10微米厚度的射频器件,相当于头发丝的十分之一。与传统器件相比,这款器件轻薄柔软,可以很好地适应隐形眼镜的环境。

解决了器件的材质问题,接下来就是如何将器件集成到隐形眼镜上。水凝胶是隐形眼镜的常用材料,具有较好的透氧性和水合性,但它也具有溶胀性,遇水胀大变形,隐形眼镜形状随之改变,这种特性给器件集成增加了难度。

课题组成员都是光电研究背景,而水凝胶的溶胀行为更偏向于高分子领域的研究。为解决水凝胶的溶胀问题,朱衡天积极请教高分子学科的专家,“在研制水凝胶配方时,我们加入了一定比例的溶剂。在隐形眼镜制备完成后,用水去替换隐形眼镜中的溶剂,这样‘一进一出’,隐形眼镜的形状不会发生大的变化,可以和器件完美地合二为一。”朱衡天介绍。

图3:丰富多样的眼机交互应用

已完成刺激实验  有效性和安全性得到验证

隐形眼镜直接覆盖于角膜表面,与眼组织紧密接触,具有较高风险,在我国作为第三类医疗器械管理,因此质量与安全成为研究的重中之重。

目前,团队与江苏省人民医院眼科的医生团队已完成了眼动追踪隐形眼镜在可靠性、稳定性和实用性方面的检测,通过72小时细胞毒性测试以及长达一周的长期活体兔眼刺激测试,对其安全性和生物相容性进行了验证。

兔子眼睛和人眼角膜的曲率很接近,他们以兔子做试验,为一只兔子戴上了隐形眼镜,又在它眼前放了一个机器车。当兔子眼睛转动时,隐形眼镜捕捉到信号,通过蓝牙模块,将信号传递到小车上,小车也跟着兔子的眼睛前后左右移动。朱衡天介绍,团队用了两种模式,检测隐形眼镜是否安全无害,“一种是让兔子连续24小时佩戴眼镜,另一种模式是模拟人类佩戴隐形眼镜的习惯,每天佩戴8小时,连续佩戴7天,结果显示,兔子的眼角膜没有物理损伤,与市场上的隐形眼镜无明显差异。”

图4:眼部生物相容性测试

“我们也在不断优化改进,提高采样频率,让时延降低,交互更同步。”朱衡天表示,这款隐形眼镜在正式投入市场前,仍需进行大规模的临床实验及严格的伦理审核,“从人工智能技术发展的长远角度来看,我们可以大胆畅想,将隐形眼镜打造成一个集成化的VR系统,实现从传统的头戴式设备到仅有百微米厚度的隐形设备的跨越。”

论文链接:https://www.nature.com/articles/s41467-024-47851-y

分享到:

0
一周排行