引用本文

马居坡, 陈周熠, 吴金建. 基于动态视觉传感器的铝基盘片表面缺陷检测. 自动化学报, 2024, 50(12): 2407−2419 doi: 10.16383/j.aas.c240307

Ma Ju-Po, Chen Zhou-Yi, Wu Jin-Jian. Dynamic vision sensor based defect detection for the surface of aluminum disk. Acta Automatica Sinica, 2024, 50(12): 2407−2419 doi: 10.16383/j.aas.c240307

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240307

关键词

缺陷检测，动态视觉传感器，高反光表面，不规则特征提取，时序融合，事件相机 

摘要

现有视觉缺陷检测技术通常基于传统电荷耦合器件(Charge-coupled device, CCD)或互补金属氧化物半导体(Complementary metal-oxide-semiconductor, CMOS)相机进行缺陷成像和后端检测算法开发. 然而, 现有技术存在成像速度慢、动态范围小、背景干扰大等问题, 难以实现对高反光产品表面弱小瑕疵的快速检测. 针对上述挑战, 创新性地提出了一套基于动态视觉传感器(Dynamic vision sensor, DVS)的缺陷检测新模式, 以实现对具有高反光特性的铝基盘片表面缺陷的高效检测. DVS是一种新型的仿生视觉传感器, 具有成像速度快、动态范围大、运动目标捕捉能力强等优势. 首先开展了面向铝基盘片高反光表面弱小瑕疵的DVS成像实验, 并分析总结了DVS缺陷成像的特性与优势. 随后, 构建了第一个基于DVS的缺陷检测数据集(Event-based defect detection dataset, EDD-10k), 包含划痕、点痕、污渍三类常见缺陷类型. 最后, 针对缺陷形态多变、纹理稀疏、噪声干扰等问题, 提出了一种基于时序不规则特征聚合框架的DVS缺陷检测算法(Temporal irregular feature aggregation framework for event-based defect detection, TIFF-EDD), 实现对缺陷目标的有效检测.

文章导读

工业品表面缺陷是指在制造过程中出现的影响产品性能、外观或安全性的表面瑕疵、损伤、裂纹、凹陷等产品问题[1]. 这些缺陷往往由制造过程中的加工工艺、机械损伤、环境污染等因素引起. 发展缺陷检测技术对改良生产工艺、提升产品质量有重要的意义. 

目前缺陷检测主要分为三大类: 人工检测方法, 利用介质的检测方法和视觉缺陷检测方法. 人工检测方法效率低、准确性不高, 受人工经验和主观因素影响大, 不适应现代大规模工业生产. 利用介质的检测方法, 如磁粉探伤、渗透探伤等, 主要基于待检测产品与介质之间特定的物理或化学反应特性实现对缺陷的发现与定位. 随着机器视觉的发展[2], 视觉缺陷检测技术[3-4]由于其检测精度高、速度快、安全可靠等优势, 成为当前的主流方法, 已在纺织、陶瓷、半导体等行业广泛应用. 

然而, 视觉缺陷检测技术仍面临一些挑战. 主流的视觉缺陷检测系统通常基于传统电荷耦合器件(Charge-coupled device, CCD)或互补金属氧化物半导体(Complementary metal-oxide-semiconductor, CMOS)相机进行缺陷成像和后端检测算法开发. 传统相机在固定的曝光时间内进行能量积分, 并以固定的帧率输出图像, 在应用于工业品表面缺陷检测时存在以下局限性: 1)由于能量积分以及模数(Analog-to-digital, AD)转换过程的存在, 传统相机成像的速度慢, 在快速生产流水线中拍摄高速目标易发生模糊[5-7]; 2)对前景和背景同等权重成像, 造成信息冗余大、感兴趣目标不突出等问题, 从而影响计算效率和目标的高效表征[8]; 3)由于器件基底噪声和满阱容量的限制, 传统相机成像动态范围小, 在强光或暗光条件下无法有效成像[9-10]. 当其对铝基盘片等高反光产品表面缺陷进行成像时, 极易发生过曝或失真. 高反光表面是指具有高亮、类镜面并含局部镜面反射特性的混合表面[11]. 因此, 当光线照射到表面时, 会发生界面反射现象, 在某些点产生聚焦效应[12], 从而导致过曝产生. 此外, 高反光表面易产生环境倒影, 对缺陷检测造成极大干扰. 上述问题导致现有的视觉缺陷检测系统在面对高反光表面的弱小缺陷快速检测任务时, 难以有效发现与识别缺陷. 

针对铝基盘片等高反光产品表面的弱小缺陷快速检测任务, 本文创新性地提出了一种基于动态视觉传感器(Dynamic vision sensor, DVS)的缺陷检测新方法. DVS是一种新型仿生视觉传感器[13-15], 它颠覆了传统相机的能量积分工作原理, 采用能量差分的方式, 仅对动态变化的光强作出响应. 当DVS上某像素的感光强度变化超出预设阈值时, 该像素会输出一个脉冲信号. 本文基于DVS的工作原理, 首先搭建了一套DVS缺陷检测实验平台, 并以机械硬盘的主要原材料——具有高反光表面的铝基盘片为实验对象, 开展了一系列的验证实验, 来探究总结DVS的缺陷成像特性与优势. 实验结果表明DVS能够有效应对强光导致的过曝、产品高速运动导致的模糊、高反光表面导致的环境倒影干扰等问题, 由于其能敏感捕捉缺陷导致的光强变化信号, 因此具有弱小缺陷成像特征明显的优势. 

随后, 本文构建了第一个基于DVS的缺陷检测数据集(Event-based defect detection dataset, EDD-10k), 包含划痕、点痕、污渍三类缺陷, 并人工标注了接近一万个标签. 

最后, 针对DVS缺陷成像的时空特性, 本文提出了一种基于时序不规则特征聚合框架的DVS缺陷检测算法(Temporal irregular feature aggregation framework for event-based defect detection, TIFF-EDD). 其中, 为了适应缺陷形态多变性、纹理稀疏性, 设计了一种基于可变形卷积的多尺度不规则特征提取(Multiscale irregular feature extraction, MIFE)网络, 实现了对不同大小、形态缺陷的自适应特征学习; 为了挖掘事件流时序信息、缓解噪声干扰, 提出了一种基于跨时间注意力的时序特征融合(Cross-time attention aggregation, CTAA) 方法, 以充分利用时间上下文信息. 此外, 在后处理阶段提出了一种决策级时序预测融合(Decision-level prediction fusion, DPF)策略, 来进一步降低噪声带来的虚警干扰. 我们在EDD-10k数据集上进行了一系列的验证实验, 结果表明, 本文所提算法能够实现对DVS缺陷目标的有效检测. 

本文的主要贡献点总结如下: 

1)本文首次提出基于DVS的缺陷检测方法, 并开展了相关的DVS缺陷成像实验, 验证分析了DVS缺陷成像的特性与优势; 

2)构建第一个基于DVS的工业品表面缺陷检测数据集EDD-10k, 包含116段事件流, 3类常见缺陷类型, 并人工手动标注了接近一万个标签; 

3)针对缺陷形态多变、纹理稀疏、噪声干扰等问题, 创新性地设计了一种基于时序不规则特征聚合框架的DVS缺陷检测算法(TIFF-EDD), 并在EDD-10k数据集上进行一系列实验评估, 验证了所提算法的有效性. 

图 1  DVS缺陷成像机理说明

图 2  事件产生数量与光强变化大小的关系示意图

图 3  缺陷检测实验平台示意图

本文针对传统视觉检测技术在高反光产品表面缺陷检测能力不足的问题, 提出了一种基于动态视觉传感器的缺陷检测新模式. 首先分析了DVS的缺陷成像机理, 并以具有高反光表面的铝基盘片为实验对象, 验证总结了DVS缺陷成像的特性与优势. 接下来, 构建了首个基于DVS的缺陷检测数据集EDD-10k, 并手动标注了接近一万个标签. 最后, 提出了一个基于时序不规则特征聚合框架的DVS缺陷检测算法TIFF-EDD. 在EDD-10k数据集上的一系列实验结果表明, TIFF-EDD能够有效应对缺陷形态多变、纹理稀疏、噪声干扰等挑战, 实现对缺陷目标的高效检测. 本文所提出的基于DVS的缺陷检测新模式也可推广应用于其他高反光产品表面缺陷检测任务, 为推动缺陷检测技术的发展提供了一种新方案. 

作者简介

马居坡

西安电子科技大学人工智能学院讲师. 主要研究方向为仿生动态视觉处理和视觉缺陷检测. E-mail: majupo@xidian.edu.cn

陈周熠

西安电子科技大学人工智能学院博士研究生. 主要研究方向为仿生动态视觉处理和视觉缺陷检测. E-mail: chenzhouyi@stu.xidian.edu.cn

吴金建

西安电子科技大学人工智能学院教授. 主要研究方向为高质量成像和图像智能处理. 本文通信作者. E-mail: jinjian.wu@mail.xidian.edu.cn