徐徐

对抗性攻击轻松愚弄人工智能
2018-07-24 12:41

对抗性攻击欺骗图像识别算法将3D打印乌龟认作步枪。图片来源:ANISH ATHALYE/LABSIX

 

本报讯 在日前于瑞典斯德哥尔摩举行的国际机器学习会议上,一群研究人员描述了他们的3D打印乌龟。大多数人会说,它看上去就像一只乌龟,但人工智能(AI)算法有不同的看法。在大多数时候,AI认为这只乌龟看上去像一支步枪。类似地,它将一个3D打印的棒球视为浓缩咖啡。这是“对抗性攻击”的例子——稍作改变的图片、物体或者声音可愚弄AI。 【《科学》相关文章

AI领域一些引人注目的进步,尤其是在消化了训练数据集后能识别声音或物体的机器学习算法,刺激了语音助手和自动驾驶汽车的发展。但这些AI应用很容易被欺骗。

在此次会议上,对抗性攻击是一个热门主题。研究人员报告了欺骗AI以及保卫它们的各种新方法。令人担忧的是,会议的两个最佳论文奖之一给了这样的结论:其发现受到保护的AI并非像其开发者可能认为的那样安全。“我们这些机器学习领域的专家并不习惯于从安全性的角度看待问题。”共同主导上述3D打印研究的麻省理工学院(MIT)计算机科学家Anish Athalye表示。

致力于研究对抗性攻击的计算机科学家表示,他们正在提供一种服务,就像指出软件安全缺陷的黑客一样。“我们需要重新思考所有的机器学习途径,以便使其更强劲。”MIT计算机科学家Aleksander Madry认为。

研究人员表示,这些攻击在科学上也有用处,为了解被称为神经网络的AI应用提供了罕见的窗口。神经网络的内在逻辑无法得到清晰明了的解释。加州大学伯克利分校计算机科学家Dawn Song表示,对抗性攻击是强大的镜头,“透过它,我们能理解获得的机器学习知识”。

去年,Song和同事将一些贴纸放到停车标志上,从而欺骗一种常见的图像识别AI认为其是每小时不超过45英里的限速标志。这一结果令自动驾驶汽车公司不寒而栗。

研究人员正在设计更复杂的攻击。在另一场会议上,Song还将报告一种让图像识别AI不只误判物体,还对其产生幻觉的“花招”。在一项测试中,凯蒂猫隐约出现在机器的街景视图中,而路上行驶的汽车却消失了。(徐徐

 

《中国科学报》 (2018-07-24 第2版 国际)

分享到:

0
一周排行