研究背景

人类可以通过多感官融合来感知我们复杂的世界。在有限的视觉条件下，人们可以感知多种触觉信号，从而准确、快速地识别物体。然而，在机器人中复制这种独特的能力仍然是一个重大挑战。在这里，我们提出了一种新型超轻多功能触觉纳米层碳气凝胶传感器，它提供压力、温度、材料识别和3D定位功能，并与多模态监督学习算法相结合进行物体识别。该传感器具有类人压力 (0.04–100 kPa) 和温度 (21.5–66.2 °C) 检测范围、毫秒响应时间 (11 ms)、92.22 kPa⁻1的压力灵敏度和超过6000次循环的摩擦电耐久性。所设计的算法具有通用性，可以适应一系列应用场景。该触觉系统能够以94.63 %的准确率识别厨房场景中的常见食物，并以100 %的准确率探索火星场景的地形地貌特征。这种传感方法赋予机器人多种触觉感知能力，推动未来社会走向更高水平的传感、识别和智能化。

Intelligent Recognition Using Ultralight Multifunctional Nano-Layered Carbon Aerogel Sensors with Human-Like Tactile Perception Huiqi Zhao, Yizheng Zhang, Lei Han, Weiqi Qian, Jiabin Wang, Heting Wu, Jingchen Li, Yuan Dai*, Zhengyou Zhang, Chris R. Bowen & Ya Yang*

Nano-Micro Letters (2024)16: 11

https://doi.org/10.1007/s40820-023-01216-0

本文亮点

1. 超轻多功能传感器的触觉性能可以达到人类触觉感知的水平。

2. 单个传感器可以提供多种触觉：压力、温度、材料识别和3D 位置。因此，不再需要集成多个不同功能的传感模块，大大简化了系统复杂度并降低了能量损耗。

3. 采用多模态学习算法的触觉系统具有通用性，可以适应各种应用场景的物体识别任务(例如：火星和厨房)。

内容简介

在机器人中实现类似人类触觉的多功能融合感知，来提供复杂环境下的物体识别任务仍然具有很多挑战。北京纳米能源与系统研究所杨亚课题组&腾讯Robotics X实验室设计了一种基于波浪层状碳气凝胶的超轻多功能触觉纳米层气凝胶传感器(MTAS)，结合多模态监督学习算法，建立了一个通用的机器人触觉平台。MTAS兼具传感多功能性、超轻性和普适性三大显着优点。具有类似人类触觉的压力检测范围(0.04–100 kPa)和响应时间(11 ms)，压力灵敏度为92.22 kPa⁻1，具有6000次循环的优异摩擦电耐久性。温度传感范围(21.5–66.2 °C)与人指尖相当。MTAS能够识别材料的固有特性，即传热特性和电子得失能力。此外，每个MTAS都可以作为独立的传感元件，提供多功能传感能力，无需集成不同的传感模块。将MTAS与任务独立的普适性的训练框架相结合，在富有挑战的环境(厨房场景和火星场景)中提供可靠的物体识别结果。

图文导读

I 多功能纳米层状气凝胶传感器触觉系统的设计

在系统的前端，一个灵活的MTAS被集成到机器人的表面，以收集各种传感信号(图1a)。MTAS 基于超轻还原氧化石墨烯/纤维素纳米晶体 (rGO/CNC) 碳气凝胶，同时提供传感多功能性和超轻特性，这两个通常相互竞争的特性对于传感应用至关重要。在多功能性方面，单个MTAS能够独立感测压力、温度和摩擦电。因此，不再需要在机器人表面集成多个传感模块，这大大简化了系统复杂性并减少了能量损失。就超轻质量而言，MTAS可以轻松漂浮在蒲公英上(图1b)，其重量仅为64.5毫克。图1c显示了由于独特的定向冷冻和退火技术而具有波状层状有序结构的rGO/CNCs纳米层状气凝胶的微观形貌。因为退火会导致薄片中的应力分布不均匀，从而导致相对平坦的GO/CNCs薄片(图1c底部)起皱，变成具有折叠波状形态的rGO/CNCs薄片(图1c顶部)。图 1d 展示了 MTAS 在多功能传感性能、算法设计和设备尺寸等各个方面的显着优势。在系统后端，多模态深度学习算法能够将信号融合通用化，以最小的修改来识别物体(图 1e)。通过这种方法，机器人可以实现类似人类的触觉感知，从而在不依赖视觉条件的情况下利用触觉准确识别智能场景中的物体。

图1. 用于智能识别的多功能触觉系统的概念和设计。(a)集成到机器人手中的 MTAS 传感系统概念图，为机器人提供触觉感知能力。右：MTAS的多层结构和多功能传感特征。从上到下依次为聚乙烯(PE)起电层、上电极、rGO/CNCs纳米层状碳气凝胶、下电极、Ecoflex弹性支撑层；(b)超轻型 MTAS 漂浮在蒲公英上的照片；(c)具有有序结构的纳米层状碳气凝胶的扫描电子显微镜(SEM)图像；(d)MTAS 与之前报道的最先进的触觉传感器的压力灵敏度、温度检测范围、算法尺寸和传感器尺寸的比较；(e) MTAS触觉系统的多模态监督学习算法架构及应用场景。算法表现出优异的鲁棒性和通用性，适用于厨房和火星场景。

II  多功能传感特性及机理

图 2a 说明了基于压阻效应的压力传感机制。从图2b可以看出，MTAS在0.04~100 kPa的压力范围内的响应优于人类的触觉感知。这意味着MTAS可以在超过其自身重量3873倍的压力下运行，从而表现出与蚁群相当的抗压能力。MTAS 在90 %高应变下经过 700 次压缩循环后的应力-应变曲线呈现出典型的新月形状；见图2c。MTAS 的温度传感机制基于热电效应(图 2d)，因为纳米层碳气凝胶中均匀分散的导电性 rGO 组分提供了优异的热性能和电性能。MTAS能够在电压和电流模式下灵敏地感应温度(图2e)，相应的温度分布及其实时红外图像表明MTAS可以检测21.5-66.2 ℃范围内的温度。人手耐受的安全范围约为20–50 ℃，这表明 MTAS 具有与人类触摸相当的温度感知范围。此外，温度传感功能可以区分具有不同传热特性的材料(图2f)。基于自然界中各种界面之间普遍存在的接触起电效应(图2g)，MTAS能够利用灵活的材料识别功能从各种自由移动物体收集摩擦电信号。随着接触压力的增加，摩擦电信号逐渐改善，直至在 4 kPa 处达到饱和(图 2h)。值得注意的是，由于采用全封装设计，MTAS具有优异的摩擦电稳定性，在4 kPa压力下测试的6000次循环中没有性能损失(图2i)，从而证明了MTAS出色的鲁棒性。MTAS可以根据物体获得或失去电子的能力来收集物体产生的特定摩擦电信号，包括信号方向、幅度和波形等特征信息。我们选择了 11 种材料进行摩擦起电测试，电负性排列如图2j所示。

图2. MTAS的多功能传感性能和机制表征。(a)压阻效应示意图；(b)不同压力下的压力传感灵敏度和归一化电流响应(相对电流，ΔI/I0)。误差线代表基于三个测试的标准偏差；(c)MTAS 在 90% 压缩应变下 700 个循环的应力-应变曲线。插图：第一个和第 200 个循环的应力-应变曲线；(d)热电效应示意图。热电效应可以将ΔT转换为电信号，实现自驱动温度传感；(e)不同ΔT下温度传感的电压和电流响应(对应的Tc范围为21.5~66.2 ℃)。通过线性拟合计算温度灵敏度。误差线为 s.d.来自三个测试。全程由红外摄像头实时监控温度；(f )11 种材料(Cu、Fe、Nylon、PTFE、NBR、FEP、ABS、PET、PMMA、Kapton 和 Wood)的传热特性柱状图；(g)基于接触起电效应的电子云势阱模型；(h)接触压力和最大间隔距离(d)对摩擦电性能的影响。误差线为 s.d.来自五个样本；(i)MTAS 摩擦电传感性能的稳健性测试；(j)11 种材料的摩擦电信号特征。

III  厨房场景中的多模态物体识别系统

通过将MTAS与多模态学习算法相结合，MTAS可以应用于家庭厨房场景(图3a)。图3b分别绘制了18种食物的10个周期的摩擦电识别信号。混淆矩阵表明，18种食品的多模态识别最终准确率为94.63%(图3c)。在3000个步骤中，训练和测试准确率持续增加，损失持续减少，并且对于更多的训练步骤保持稳定(图3d)。图3e展示了多模态算法与两种单模态算法之间的识别结果比较，这表明多模态感知和融合可以显着提高识别精度。

图3. 基于MTAS的多模态物体识别系统在厨房的应用。(a)与 MTAS 智能系统集成以识别食物的厨房机器人的概念图；(b)18 种食物的摩擦电识别数据集(10 个周期)；(c)厨房场景中 18 种食物多模态识别的混淆矩阵；(d)训练和测试精度随训练步骤的变化曲线。插图：损失随训练步骤的变化曲线；(e)单模态方法与多模态方法精度比较柱状图。

IV  火星场景中的多模态物体识别系统

更有趣的是，MTAS触觉识别平台可以集成到火星车中，通过远程控制探索火星的地形和地貌特征(图4a)。基于上述想法，我们搭建了一个模拟火星探索的测试平台(图4b)，并将MTAS集成到机械臂前端的接触杆中。我们设计了火星微模型(图4c)来模拟火星的地形地貌(山脉、岩石、土地、沙漠和干涸的河流)，参考真实的火星环境。在探索地形地貌特征时，首先重建微模型的地形(图4d)，然后根据3D模拟地图识别采样点(地貌特征点)，从而通过多模态学习算法识别特征点的地貌。图4e为地形识别的8个特征点的信号波形，表明不同地形的压力和摩擦电信号是可区分的。微模型多模态识别的混淆矩阵显示最终准确率为100%(图4f)，表明所有地貌都能正确识别。在训练数据集大约300步和测试数据集大约100步后，学习过程达到收敛并保持稳定(图 4g)。多模态网络融合了两种信息并获得了所有物体的最高准确度(图4h)，从而验证了多模态传感和融合的重要性。

图4. 基于MTAS的多模态物体识别系统在火星空间的应用。(a)集成MTAS 智能系统的火星车识别火星地形和地貌的概念图；(b)用于从火星微模型收集机器学习数据的自动化智能系统的照片。它由七轴机械臂、六轴力控装置、触摸杆、MTAS和火星微模型组成；(c)模拟火星地形地貌特征的微模型。数字标记代表8个特征点的分布，用于微模型地貌识别。8个特征点均匀分布。特征点1和2对应于岩石，特征点3和4对应于河流，特征点5和6对应于土壤，特征点7和8对应于沙子；(d)采用Matlab曲线拟合的火星微模型地形重建模拟图(俯视图，像素点：5184)；(e)不同地形压力识别和摩擦起电识别的特征信号；(f)火星场景中四种地貌多模态识别的混淆矩阵；(g)训练和测试精度随训练步骤的变化曲线。插图：损失随训练步骤的变化曲线；(h)单模态方法与多模态方法精度比较柱

作者简介

戴媛

本文通讯作者

腾讯机器人实验室

▍主要研究领域

(1)机器人；(2)人工智能。

▍主要研究成果

2012年获得伊利诺伊大学香槟分校(UIUC)电子与计算机工程学士学位，2018年获得加州大学洛杉矶分校(UCLA)电子与计算机工程博士学位。毕业后，她在腾讯Robotics X担任高级研究员。目前已在《Nature Communications》、《Science Advances》、《ACS Nano》、《Nano Energy》等世界顶尖期刊上发表了许多高质量的研究成果。迄今为止，戴媛已经在国际期刊上发表了30多篇高水平学术论文，申请专利80多项，已获得12项美国专利授权以及18项中国专利授权。未来一段时间的主要研究方向是推动通用机器人的产业化落地，包括机器人学、人机交互、人工智能、传感器和执行器。

▍Email：yuan.dai24@hotmail.com

杨亚

本文通讯作者

北京纳米能源与系统研究所 研究员

▍主要研究领域

新能源纳米材料与器件：(1)铁电薄膜材料与器件；(2)热释电-光伏材料与器件；(3)复合与耦合纳米发电机；(4)多功能触觉传感器系统。

▍主要研究成果

中国科学院北京纳米能源与系统研究所研究员，博士生导师。在微纳能源与传感研究方面，取得了具有国际重要影响力的原创性和开创性研究成果。以构建高性能多效应耦合纳米发电机和高精度自供电传感器阵列为目标，从铁电材料的设计和可控制备出发，探索力-热-光耦合效应对纳米发电机的调制机理，在新型复合与耦合纳米发电机的设计和集成、基于复合与耦合纳米发电机的自驱动多功能传感器、柔性大规模传感阵列系统等领域取得了重要进展。在国际SCI杂志《Nature Energy》、《Nature Electronics》、《Nature Communications》、《Science Advances》、《Energy & Environmental Science》、《Advanced Materials》和《Advanced Energy Materials》等发表学术论文200余篇[IF>12：100余篇]。论文被引用总数19000余次，H指数为83 (Web of Science的数据)。撰写并出版英文专著1部。研究结果被各类著名国际学术期刊或媒体如Nature Photonics、AAAS、Cell Press、The Guardian等作为亮点报道。已授权美国专利1项，申请和授权的中国专利40余项。获2018年国家自然科学二等奖和2010年北京市科学技术一等奖，博士论文被评为2013年全国百篇优秀博士学位论文。

▍Email：yayang@binn.cas.cn

撰稿：原文作者

编辑：《纳微快报(英文)》编辑部

关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2022JCR影响因子为 26.6，学科排名Q1区前5%，期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: editor@nmlett.org

Tel: 021-34207624