drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

脑机接口中的对抗样本

已有 1848 次阅读 2019-9-2 20:00 |个人分类:脑机接口|系统分类:科研笔记

对抗样本是一种针对机器学习模型恶意设计的样本,其通过在正常样本上添加某种微弱的噪声(即“对抗噪声”),使得机器学习模型对样本的识别出现错误。特意设计的对抗噪声与随机采样的噪声存在着本质上的不同,机器学习模型对于随机采样的噪声往往具备一定的鲁棒性,然而对相同大小的对抗噪声的防御能力却十分脆弱。

我们发现目前脑机接口中使用的机器学习模型具有同样的问题。我们通过在EEG信号上添加一定幅值限制的对抗噪声,使得脑机接口系统不能够识别信号。这种恶意设计的对抗噪声十分微弱,目前脑机接口中常用的分析方法几乎无法检测出异常。下图为EEG对抗信号的示意图,最左边的为A类的多通道正常EEG信号,在添加微弱的对抗噪声后被模型识别为B类。


BCI4.png


在实际的情况下,攻击者较难掌握系统模型的所有信息,这种情形多出现于攻击商业应用的脑机接口系统时。为此,我们根据攻击者对脑机接口系统模型信息的了解程度,提出了适用于不同情况的攻击方式:

白盒攻击:攻击者了解脑机接口包括模型架构及其参数在内的所有信息。这种情况主要出现在脑机接口系统信息被泄露,或者内部人员对系统进行鲁棒性测试。此时构建对抗噪声只需要找到使得模型误差上升较快的梯度方向。

灰盒攻击:攻击者知道训练脑机接口中的模型时所使用的数据集。当已知系统使用公开脑电数据集来对脑机接口模型进行训练时,攻击者可以使用这些训练集训练自己的模型,然后利用对抗样本的迁移性使用在自己模型上生成的对抗样本来攻击目标模型。

黑盒攻击:这种攻击主要应用于针对商业化的脑机接口系统的攻击。商业化脑机接口系统训练使用的数据集以及模型框架通常都是保密的。在这种情境下,攻击者可以人为构建自己的脑电信号集,然后使用购买的脑机接口系统对其进行类别标注,最后使用类似灰盒攻击的手段生成对抗样本。

我们的攻击方法在三种不同的攻击场景下成功攻击了包括运动想象、事件相关电位等多种范式在内的脑机接口系统,实验结果表明对抗噪声显著地降低了脑机接口系统对EEG信号分类的准确性。

脑机接口中对抗样本的存在轻则可能降低用户体验,严重的情况甚至可能损害用户的健康。比如攻击者可以在不被人察觉的情况下控制残疾人基于脑电控制的轮椅,或者恶意篡改脑机接口打字系统的输出。因此检测、防御对抗信号对于脑机接口的安全性至关重要,这也是我们下一步将要进行的工作。

 

本工作由华中科技大学人工智能与自动化学院硕士生张潇和伍冬睿教授共同完成。发表于IEEE Trans. on Neural Systems & Rehabilitation Engineering。

 

X. Zhang and D. Wu, “On the Vulnerability of CNN Classifiers in EEG-Based BCIs,” IEEE Trans. on Neural Systems and Rehabilitation Engineering, vol. 27, no. 5, pp. 814–825, 2019.


arXiv: https://arxiv.org/abs/1904.01002




http://wap.sciencenet.cn/blog-3418535-1196370.html

上一篇:基于典型相关性分析(CCA)的多视图学习方法综述
下一篇:一种脑机接口中的数据对齐方法

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-4-11 19:09

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部