引用本文

魏静, 史庆丰, 沈飞, 张正涛, 陶显, 罗惠元. 工业外观检测中的图像扩增方法综述. 自动化学报, 2025, 51(7): 1423−1462 doi: 10.16383/j.aas.c240139

Wei Jing, Shi Qing-Feng, Shen Fei, Zhang Zheng-Tao, Tao Xian, Luo Hui-Yuan. A review of image augmentation methods in industrial cosmetic inspection. Acta Automatica Sinica, 2025, 51(7): 1423−1462 doi: 10.16383/j.aas.c240139

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240139

关键词

图像扩增，图像生成，生成对抗网络，扩散模型，表面缺陷检测，计算机视觉 

摘要

图像扩增是工业外观检测中常用的数据处理方法, 有助于提升检测模型泛化性, 避免过拟合. 根据扩增结果的不同来源, 将当前工业图像扩增方法分为基于传统变换和基于模型生成两类. 基于传统变换的扩增方法包括基于图像空间和特征空间两类; 根据模型输入条件信息的不同, 基于模型生成的方法分为无条件、低维条件和图像条件三类. 对相关方法的原理、应用效果、优缺点等进行分析, 重点介绍基于生成对抗网络、扩散模型等模型生成的扩增方法. 依据扩增结果的标注类型和方法的技术特点, 对三类基于模型生成方法的相关文献分类统计, 通过多维表格阐述各类方法的研究细节, 对其基础模型、评价指标、扩增性能等综合分析. 最后, 总结当前工业图像扩增领域存在的挑战, 并展望未来发展方向.

文章导读

深度学习方法极大地推动了工业外观检测的发展, 在钢材[1]、木材[2]、织物[3]、半导体元器件[4]、手机部件[5−6]、混凝土管道[7]、碳纤维[8]等工业产品表面缺陷检测上取得优异的效果. 相比于传统的图像处理方法, 深度学习能够灵活地提取多维特征, 更适用于复杂环境下的工业产品表面缺陷检测. 然而, 深度学习方法的性能依赖于训练数据的质量和数量[9], 质量高、数量多的训练数据能够使模型获得更优的检测性能和泛化能力, 同时也会增加数据搜集、清洗和标注成本[10]. 随着工业生产线的不断优化, 异常样本出现的概率越来越低. 缺陷样本较少时, 检测方法容易产生过拟合: 模型在训练数据上表现良好, 在未见测试样本上表现较差[11].

图像扩增基于图像处理、图像合成等方法创造不同于已有样本的新数据, 丰富数据多样性、增加数据量, 从而辅助模型建立更加鲁棒的分类边界. 图像扩增能够在不额外增加数据搜集成本的条件下增加标注数据量, 是解决过拟合、降低测试误差的常用方法[12]. 多数扩增方法已在自然场景中验证了有效性. 自然场景图像具有丰富的高层语义信息, 底层纹理的细微变化往往不会影响真值标签. 相比之下, 工业场景的待检产品结构较为固定[13], 缺陷前景与正常背景高度相似, 使得工业外观检测任务对底层纹理极为敏感, 改变纹理有可能造成图像块类别属性的变化. 因此, 简单地将自然场景下的图像扩增方法迁移到工业外观检测任务中可能引入干扰, 导致检测性能降低. 例如, 随机将某一图像块的像素值置零可以得到局部被遮挡的原图像. 然而, 如图1(a)和图1(b)所示, 这种随机置零操作会在工业产品上产生与孔洞相似的缺陷. 图1(c)手机中框图像中, 缺陷与背景仅在亮度上存在细微不一致, 随机的亮度调整会扰乱正常与缺陷的分类边界. 因此, 全面细致地总结工业外观检测中的图像扩增方法有助于研究者了解工业场景下有效的扩增技术, 从而有针对性地改善检测模型性能.

图 1  工业缺陷图像, (a)和(c)的左下角是对应掩膜标注((a)木板的孔洞缺陷图像; (b)在木板上随机切出圆形区域; (c)手机中框的异色缺陷图像)

目前已有一些研究开展了图像扩增和工业图像合成的综述性工作. Shorten等[12]对深度学习中用到的扩增方法进行总结, 受时间限制, 一些较新的工作没有被涵盖. 文献[14−16]对医学图像中基于图像变换和基于模型生成的扩增方法进行总结. Xu等[17]的工作是一篇全面性的扩增方法总结, 主要关注自然场景图像. 文献[18]总结基于传统和深度学习方法的工业表面缺陷图像生成方法, 主要关注生成方法和结果本身的优缺点, 缺少对生成方法在工业检测中的作用的深入分析. 文献[19]对工业中虚拟样本的科学性问题进行分析, 讨论虚拟样本在应用中存在的问题. 文献[20]总结面向工业过程的生成技术和相关的图像评估指标. 然而, 二者均缺少对工业图像生成相关文献的方法总结和性能分析.

不同于已有的综述, 本文总结当前工业外观缺陷检测中涉及的各类扩增方法, 对方法的技术思路、特点、性能等进行综合分析. 为辅助工业外观检测领域的研究者根据任务需求选择合适的扩增方法或探索新的方法, 本文对当前工业缺陷检测涉及到的扩增方法进行分类, 架构如图2所示. 根据扩增结果的不同来源将当前的方法分为基于传统变换和基于模型生成两类. 首先, 基于传统变换的扩增方法对训练图像或其压缩表示进行处理, 处理过程不涉及参数更新. 根据操作方法的作用空间不同, 基于传统变换的扩增方法分为基于图像空间和特征空间变换两类. 其次, 基于模型生成的方法利用生成对抗网络[21] (Generative adversarial networks, GANs)、扩散模型[22]等生成全新的缺陷样本, 能够极大地提升训练集的数量和多样性, 具有广泛的应用前景. 因此, 本文重点关注基于模型生成的扩增方法. 根据输入条件信息的不同, 基于模型生成的方法分为无条件、低维条件和图像条件三类. 本文将对相关方法的原理、应用场景、性能等进行总结分析, 主要贡献如下:

图 2  工业外观检测中的图像扩增方法分类基准

1)系统性地总结工业外观检测中涉及到的基于传统变换和基于模型生成的扩增方法;

2)全面地整理当前基于模型生成的工业图像扩增方法, 从技术原理和应用效果的角度对方法进行细致的分类;

3)讨论工业图像扩增的挑战和未来发展方向, 重点关注扩增原理和方法的实际落地.

本文内容安排如下: 第1节介绍基于传统变换的方法; 第2节概述基于模型生成的扩增方法分类标准; 重点在第3节, 介绍当前基于模型生成的扩增方法研究现状, 总结各类方法的特点; 第4节展示当前常用的工业数据集和有代表性的生成式模型的实验结果; 最后, 第5节和第6节分别总结工业图像扩增面临的挑战和未来发展方向.

图 3  简单图像变换扩增结果

图像扩增是工业表面缺陷检测中常用的数据处理方法, 在避免过拟合、提高鲁棒性和测试性能上发挥着重要作用. 本文对工业表面缺陷检测中涉及到的各类基于图像空间、特征空间的传统变换和无条件、低维条件、图像条件三种基于模型学习的扩增方法进行分类总结. 重点介绍基于GAN、扩散模型等模型生成的扩增方法, 分析大量文献的基础模型、应用场景、评价指标、性能提升等细节内容, 并对扩增领域的挑战和未来发展方向进行讨论. 本文能为相关领域的研究者提供参考, 方便研究者根据应用场景需求选择和设计扩增方法.

作者简介

魏静

中国科学院自动化研究所博士研究生. 2020年获得电子科技大学学士学位. 主要研究方向为基于生成式模型的工业缺陷图像扩增. E-mail: weijing2020@ia.ac.cn

史庆丰

中国科学院自动化研究所硕士研究生. 2022年获得东北电力大学学士学位. 主要研究方向为基于扩散模型的工业图像生成. E-mail: shiqingfeng2022@ia.ac.cn

沈飞

中国科学院自动化研究所研究员. 2012年获得中国科学院自动化研究所博士学位. 主要研究方向为视觉检测, 机器人视觉控制与微装配. 本文通信作者. E-mail: fei.shen@ia.ac.cn

张正涛

中国科学院自动化研究所研究员. 2010年获得中国科学院自动化研究所博士学位. 主要研究方向为视觉测量, 微装配与自动化. E-mail: zhengtao.zhang@ia.ac.cn

陶显

中国科学院自动化研究所副研究员. 2016年获得中国科学院自动化研究所博士学位. 主要研究方向为机器视觉, 缺陷检测和深度学习. E-mail: taoxian2013@ia.ac.cn

罗惠元

中国科学院自动化研究所博士后和助理研究员. 2016年获得哈尔滨工业大学学士学位, 2021年获得中国科学院长春光学精密机械与物理研究所博士学位. 主要研究方向为工业异常检测, 无监督学习和智能制造