引用本文

常振春, 禹晶, 肖创柏, 孙卫东. 基于稀疏表示和结构自相似性的单幅图像盲解卷积算法. 自动化学报, 2017, 43(11): 1908-1919. doi: 10.16383/j.aas.2017.c160357

CHANG Zhen-Chun, YU Jing, XIAO Chuang-Bai, SUN Wei-Dong. Single Image Blind Deconvolution Using Sparse Representation and Structural Self-similarity. ACTA AUTOMATICA SINICA, 2017, 43(11): 1908-1919. doi: 10.16383/j.aas.2017.c160357

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160357

关键词

稀疏表示，结构自相似，盲解卷积，模糊核，去模糊 

摘要

图像盲解卷积研究当模糊核未知时，如何从模糊图像复原出原始清晰图像.由于盲解卷积是一个欠定问题，现有的盲解卷积算法都直接或间接地利用各种先验知识.本文提出了一种结合稀疏表示与结构自相似性的单幅图像盲解卷积算法，该算法将图像的稀疏性先验和结构自相似性先验作为正则化约束加入到图像盲解卷积的目标函数中，并利用图像不同尺度间的结构自相似性，将观测模糊图像的降采样图像作为稀疏表示字典的训练样本，保证清晰图像在该字典下的稀疏性.最后利用交替求解的方式估计模糊核和清晰图像.模拟和真实数据上的实验表明本文算法能够准确估计模糊核，复原清晰的图像边缘，并具有很好的鲁棒性.

文章导读

在数字成像设备采集图像的过程中, 由于设备的抖动、散焦等因素, 获取的图像往往存在一定程度的模糊.图像去模糊研究如何利用模糊图像复原出原始清晰图像.根据所用的模糊图像数目, 去模糊算法可以分为多幅图像去模糊方法和单幅图像去模糊方法.由于很多情况下很难获取同一时间、同一场景的多幅图像, 所以单幅图像去模糊算法更具有实际意义.

盲解卷积是一个欠定问题, 解不唯一, 因此在实际求解过程中必须引入关于模糊核或清晰图像的先验知识.现有的盲解卷积算法都直接或间接地利用各种先验知识, 这些算法大致可以分为两类:一类算法利用启发式的边缘增强方法; 另一类直接建立模糊核或清晰图像的先验概率分布模型.

前面介绍的盲解卷积算法都利用了关于图像梯度的先验知识, 而图像梯度表示的是图像相邻像素之间的关系, 并不足以表示更大的图像结构.近年来一些盲解卷积算法利用了关于图像块的先验信息, 相比于利用梯度先验的算法, 利用图像块先验知识的盲解卷积算法的准确性和鲁棒性都得到了较大的提升. Michaeli等[9]把不同尺度图像间存在的结构自相似性作为先验知识, Lai等[10]把图像块的色彩先验用于盲解卷积问题中.自然图像可以用某种字典稀疏表示, 这种稀疏性可以作为先验知识加入到盲解卷积算法中.基于稀疏表示的盲解卷积算法的关键是确定用于表示清晰图像的过完备字典, 一种方式是把清晰图像作为训练样本来构建字典[11], 但实际情况下清晰图像是未知的, 因而这种字典构造方式不能应用于真实盲解卷积场景中; 也可以用大量清晰图像组成的图像库作为训练样本或者直接把模糊图像作为训练样本[12]来构造字典, 但由于图像库一般较大, 字典的学习效率较低, 而且当图像库中的图像与真实清晰图像的差异较大时, 不能保证真实清晰图像在该字典下的稀疏性; 如果把模糊图像作为训练样本来训练字典, 则模糊图像在该字典下具有稀疏性, 而无法保证清晰图像在该字典下的稀疏性, 因此该字典无法准确提供关于清晰图像的先验信息.

基于结构自相似性的盲解卷积算法利用图像自身所具有的自相似结构, 对于每一个图像块, 算法需要在相同尺度或不同尺度的图像中搜索与之相似的多个图像块, 而精确搜索的效率非常低, 所以通常采用近似搜索策略[9, 13-15], 这将导致基于结构自相似性的盲解卷积算法的效果受到一定影响.

本文提出一种结合稀疏表示与结构自相似性的单幅图像盲解卷积算法.已有学者[13-15]结合这两种技术实现了单幅图像超分辨率重建.超分辨率重建一般假设已知图像的降质过程, 即模糊核是已知的, 而盲解卷积要估计的正是未知的模糊核. Michaeli等[9]指出直接利用超分辨率重建技术来实现盲解卷积是不可行的.本文将通过定性和定量实验验证稀疏表示与结构自相似这两种技术同样可以结合应用于图像盲解卷积问题中.本文采用自适应字典学习的方法, 把模糊图像降采样得到的图像作为训练样本, 从而将图像不同尺度间的结构自相似信息加入到字典中.由于模糊图像降采样得到的图像的模糊程度较小, 从中提取的图像块比较清晰, 因此用训练出来的字典重建图像可以保证重建图像的边缘比较清晰.结合稀疏表示与结构自相似性的盲解卷积算法解决了字典训练的问题, 同时可以减小由于近似搜索相似图像块带来的性能损失.

本文后续结构组织如下:第1节介绍图像的结构自相似性与稀疏表示; 第2节阐述本文如何结合稀疏表示与结构自相似性进行盲解卷积; 第3节通过实验验证本文算法的有效性; 第4节为全文结论.

图 1  图像不同尺度间的结构自相似性

图 2  清晰图像与模糊图像的结构相似性

图 3  本文算法流程

本文提出了一种基于稀疏表示与结构自相似性的单幅图像盲解卷积算法.该算法通过结构自相似性正则化约束直接将图像自身蕴含的多尺度结构自相似性信息加入到复原图像中, 并通过将模糊图像的降采样图像作为稀疏表示字典的训练样本, 间接利用了图像的结构自相似性信息.模拟数据上的定量实验结果表明相比其他多种单幅图像盲解卷积算法, 本文算法的"成功率"更高, 平均ER值更低.真实数据上的实验结果表明本文算法复原图像的边缘更加清晰, 振铃效应更少, 具有更好的复原效果, 验证了本文算法应用于实际模糊图像上的鲁棒性.

作者简介

常振春

清华大学电子工程系硕士研究生.2014年获得清华大学电子工程系学士学位.主要研究方向为图像处理, 模式识别.E-mail:txchangchun@163.com

肖创柏 

北京工业大学计算机学院教授.主要研究方向为数字信号处理, 音视频信号处理, 网络通信.E-mail:cbxiao@bjut.edu.cn

孙卫东 

清华大学电子工程系教授.主要研究方向为图像处理, 模式识别, 空间信息处理应用.E-mail:wdsun@tsinghua.edu.cn

禹晶 

北京工业大学计算机学院讲师.2011年获得清华大学电子工程系博士学位.主要研究方向为图像处理与模式识别.本文通信作者.E-mail:jing.yu@bjut.edu.cn