引用本文

毛国君, 吴星臻, 邢树礼. 基于多尺度流模型的视觉异常检测研究. 自动化学报, 2024, 50(3): 640−648 doi: 10.16383/j.aas.c230476

Mao Guo-Jun, Wu Xing-Zhen, Xing Shu-Li. Research on visual anomaly detection based on multi-scale normalizing flow. Acta Automatica Sinica, 2024, 50(3): 640−648 doi: 10.16383/j.aas.c230476

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230476

关键词

异常检测，流模型，层级感知，多尺度特征 

摘要

针对现有异常检测(Anomaly detection, AD)模型计算效率低和检测性能差等问题, 提出一种多尺度流模型(Multi-scale normalizing flow, MS-Flow), 通过多尺度交叉融合实现高效的视觉图像异常识别. 具体地, 在流模型(Normalizing flow, NF)内部构建层级式的多尺度架构来避免多通道数据的冗余交叉计算, 同时保证网络的多尺度表达能力. 此外, 设计的层级感知模块通过逐层级的多粒度特征融合, 在细粒度级别表达多尺度特征, 有效地提高分布估计的精确性. 该方法是一个平衡检测精度与计算效率的解决方案. 在两个公开数据集上的实验表明, 所提方法相较于以往的检测模型能够获得更高的检测精度(在MVTec AD和BTAD数据集上的平均AUROC (Area under the receiver operating characteristics)分别为99.7%和96.0%), 同时具有更高的计算效率, 浮点运算次数(Floating point operations, FLOPs)约为CS-Flow的1/8.

文章导读

异常检测(Anomaly detection, AD)是计算机视觉中的一个热门研究领域[1]. 异常检测算法已经在诸多场景中得到应用, 如工业异常检测[2]、医学图像检查[3]、道路交通监测[4]和安全检测[5]等. 有监督的异常检测工作通常需要标注大量的正常数据和异常数据[6]. 但在实际应用中, 异常数据的产生概率通常较低, 这导致有监督方法在实际应用中难以高效地实施. 相比较, 无监督异常检测方法效率更高, 近年得到更多的关注.

现有的无监督异常检测方法主要分为基于重构和基于密度表示两大类. 基于重构的方法利用数据的重构误差来检测异常[7-9], 通常使用自动编码器(Autoencoder, AE)[10-12]或生成对抗网络(Generative adversarial network, GAN)[13]等模型来编码和重构正常数据. 当异常数据输入时, 网络会产生较大的重构误差, 进而达到对数据的异常检测. 尽管这类方法直观、可解释性好, 但现有的模型往往只能捕捉像素级的相关性, 很难融合深层的语义信息, 难以大幅度提升异常检测精度[14].

基于密度表示的方法通过建模正常数据集的特征分布, 并计算测试数据与正常特征分布间的距离来区分和定位异常[15-18]. 流模型(Normalizing flow, NF)[19-20]属于典型的基于密度表示的建模方法, 近年在视觉异常检测中取得了不错的效果. 流模型通过极大似然估计将训练集可逆地映射到一个预定义的潜在空间, 用于表示正常数据分布. 由于其可逆的特点, 该潜在空间具有更高的可能性代表正常样本. 在检测阶段, 流模型通过计算输入的似然概率来检测出具有不同分布的异常数据. 本文提出一种高效的流模型, 称为MS-Flow (Multi-scale normalizing flow). 该模型在耦合层中逐层级地处理不同的特征尺度信息, 使感受野由粗粒度到细粒度的变化能精确地识别异常区域与其他区域的差异. 同时, 层级式的多尺度架构取代以往复杂的多尺度表达, 大幅度减少低质量特征的冗余利用, 实现检测精度和计算效率的平衡.

本文的主要贡献可归纳如下.

1)针对视觉异常检测任务提出一种高效的流模型MS-Flow, 实现逐层级跨尺度信息融合, 更好地利用全局和局部信息进行分布建模.

2)基于多尺度卷积架构来表达特征的多尺度信息, 避免多通道数据的冗余交叉计算, 有效地提升网络的计算效率.

3)在公开数据集上的实验结果表明, 本文方法在精度和计算效率方面均优于现有的异常检测方法.

本文的其余部分安排如下: 第1节介绍相关工作; 第2节介绍本文模型及其主要功能部件; 第3节完成实验及结果分析; 第4节对本文工作进行总结.

图 1  本文所提模型架构图

图 2  层级感知模块结构图

图 3  MVTec AD和BTAD数据集中所有类别的样例图

本文提出了一种基于流模型的视觉异常检测方法MS-Flow, 通过层级式跨尺度计算实现了多尺度特征融合, 同时优化网络的计算效率, 实现了轻量级聚合网络下的高精度视觉异常检测. 实验结果表明, 相比于典型的交叉尺度流模型CS-Flow, 本文模型计算量大幅度降低; 相比于典型的轻量级流模型FastFlow, 网络参数减少约1/5; 同时, MS-Flow更高效地运用了多尺度融合策略, 可以获得更高的视觉异常检测精度. 此外, MS-Flow对于不同类型的特征提取器、子特征数目及耦合层数均有很好的适应性, 是一个检测精度与计算效率均衡的解决方案.

作者简介

毛国君

福建理工大学计算机科学与数学学院教授. 主要研究方向为人工智能, 大数据, 数据挖掘和分布式计算. 本文通信作者. E-mail: 19662092@fjut.edu.cn

吴星臻

福建理工大学计算机科学与数学学院硕士研究生. 主要研究方向为计算机视觉, 图像处理和异常检测. E-mail: xzwu@smail.fjut.edu.cn

邢树礼

福建理工大学计算机科学与数学学院讲师. 主要研究方向为计算机视觉, 图像处理和大数据分析. E-mail: 19892311@fjut.edu.cn