引用本文

李公平, 陆耀, 王子建, 吴紫薇, 汪顺舟. 基于模糊核估计的图像盲超分辨率神经网络. 自动化学报, 2023, 49(10): 2109−2121 doi: 10.16383/j.aas.c200987

Li Gong-Ping, Lu Yao, Wang Zi-Jian, Wu Zi-Wei, Wang Shun-Zhou. Blurred image blind super-resolution network via kernel estimation. Acta Automatica Sinica, 2023, 49(10): 2109−2121 doi: 10.16383/j.aas.c200987

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200987

关键词

模糊图像，模糊核估计，卷积神经网络，盲超分辨率 

摘要

模糊图像的超分辨率重建具有挑战性并且有重要的实用价值. 为此, 提出一种基于模糊核估计的图像盲超分辨率神经网络(Blurred image blind super-resolution network via kernel estimation, BESRNet). 该网络主要包括两个部分: 模糊核估计网络 (Blur kernel estimation network, BKENet)和模糊核自适应的图像重建网络(Kernel adaptive super-resolution network, SRNet). 给定任意低分辨率图像(Low-resolution image, LR), 首先利用模糊核估计子网络从输入图像估计出实际的模糊核, 然后根据估计到的模糊核, 利用模糊核自适应的图像重建子网络完成输入图像的超分辨率重建. 与其他图像盲超分辨率方法不同, 所提出的模糊核估计网络能够显式地从输入低分辨率图像中估计出完整的模糊核, 然后模糊核自适应的图像重建网络根据估计到的模糊核, 动态地调整网络各层的图像特征, 从而适应不同输入图像的模糊. 在多个基准数据集上进行了有效性实验, 定性和定量的结果都表明该网络优于同类的图像盲超分辨率神经网络.

文章导读

图像超分辨率任务的主要目标是将输入的低分辨率图像(Low-resolution image, LR)重建成具有更多细节的高分辨率图像(High-resolution image, HR). 图像超分辨率技术已经具有广泛的应用, 如遥感图像分析[1]、医学图像处理[2]、视频监控图像处理[3] 等.

近年来, 随着深度学习技术的发展, 基于深度学习的方法在图像超分辨率任务上取得了显著进展. 其中大部分方法[4-19]只学习由双三次插值(Bicubic)算法退化生成的低分辨率图像与高分辨率图像之间的映射关系. 然而, 现实生活中的低分辨率图像的退化模式是复杂且未知的, 包含了多种因素(如模糊、噪声、压缩、几何失真等), 其中模糊的影响最为重要. 由于生成网络训练数据时未考虑模糊, 将上述这些模型应用到现实生活的真实场景中其重建效果不理想, 甚至会出现明显的模糊和伪影等现象[20].

为了解决真实场景图像超分辨率问题, 研究者们提出了许多盲图像超分辨率方法. 一种代表性的方法是从输入的低分辨率图像中估计出所对应的模糊核并用来针对性地指导图像超分辨率重建. 例如, Zhang 等[21]使用网格搜索的方式来确定模糊核的参数, 并且提出了维度拉伸策略来利用模糊核信息. Gu 等[22]提出一种迭代模糊核修正的方法(Iterative kernel correction, IKC)来估计输入图像的模糊核, 并结合维度拉伸策略[21]和空间特征变换(Spatial feature transform, SFT)[23]来利用模糊核信息重建高分辨率图像. Luo 等[24] 沿用了Gu 等[22]的方法来利用模糊核信息, 并且提出迭代地进行模糊核估计和图像超分辨率重建. 但是上述方法没有显式地从输入图像中估计出完整的模糊核, 无法给出模糊核估计的质量评价, 也无法评价估计到的模糊核对最终超分辨率结果的影响. 此外, 上述几种方法都使用主成分分析(Principal component analysis, PCA)将模糊核拉成的向量进行降维, 然后将降维后的模糊核向量拉伸成和输入图像一样大小的退化图, 再将退化图和输入图像[21]或图像特征[22, 24]在通道维度上拼接来利用模糊核信息帮助超分辨率重建. 这种做法具有一定的局限性, 首先这样做会丢失一部分模糊核中的信息, 不能充分地利用模糊核信息去指导输入图像中结构化信息的重建. 其次, 这种做法只是简单地将图像或图像特征和模糊核特征在通道维度上拼接来利用模糊核信息. 其中图像特征是与输入图像的像素值高度相关的, 而由模糊核得到的退化图只是一组抽象的数字, 将这二者简单拼接无法高效地利用模糊核信息去指导超分辨率重建过程.

为了克服上述局限, 本文提出了一种基于模糊核估计的图像盲超分辨率神经网络(Blurred image blind super-resolution network based on kernel estimation, BESRNet). BESRNet 主要包括两部分: 模糊核估计网络(Blur kernel estimation network, BKENet)和模糊核自适应的图像重建网络(Kernel adaptive super-resolution network, SRNet). 此外, 为了充分利用模糊核信息帮助超分辨率重建, 本文还提出模糊核特征提取器(Blur kernel feature extractor, BKFE), 用于从估计出的模糊核中提取关键信息. 给定任意低分辨率图像, BKENet 从中显式地估计出完整的模糊核. 紧接着, BKFE 从估计出的模糊核中提取模糊核特征. 最后, SRNet 利用提取到的模糊核特征对图像特征进行调整并完成输入图像的超分辨率重建. 特别地, 在SRNet中本文利用提出的模糊核自适应特征选择模块(Kernel adaptive feature selection, KAFS), 根据模糊核特征对提取到的图像特征进行动态选择, 从而更高效地利用模糊核信息. 本文在多个图像超分辨率数据集上进行了大量实验, 定性和定量的结果证明了提出方法的有效性.

本文的主要贡献总结如下:

1) 设计了一个模糊核估计网络BKENet 来估计输入低分辨率图像对应的模糊核. 与其他盲超分辨率方法中只估计出经由PCA降维后的模糊核向量不同, BKENet 能够显式地从输入图像中估计出完整的模糊核, 从而能够直观地评价估计的模糊核的质量.

2) 设计了一个模糊核自适应的特征选择模块KAFS, 从而利用提取到的模糊核特征指导输入图像的超分辨率重建. 与之前的方法不同, 本文使用在所估计的模糊核上提取到的特征来指导输入图像的超分辨率重建. 给定模糊核特征和低分辨率图像特征作为输入, KAFS 模块能够根据模糊核特征动态地为当前层级网络选择合适的特征, 从而更有效地利用模糊核信息来指导图像超分辨率重建.

图 1  BESRNet 结构示意图

图 2  BKENet 结构示意图

图 3  模糊核自适应的特征选择模块示意图

本文提出了一种基于模糊核估计的图像盲超分辨率网络. 其主要由两个子网络构成: 模糊核估计网络和模糊核自适应的图像重建网络. 模糊核估计网络可以显式地从任意低分辨率图像估计出完整的模糊核. 模糊核自适应的图像重建网络能够利用所估计的模糊核动态地调整图像特征, 从而能够适应不同模糊图像的超分辨率重建. 本文在常用的超分辨率基准数据集上进行了不同模糊核的实验, 定量和定性的实验结果都表明本文所设计网络能够获得更好的超分辨率效果. 在未来的工作中可进一步探究高斯模糊之外的更加复杂的退化模式下的模糊图像盲超分辨率方法.

作者简介

李公平

北京理工大学计算机学院硕士研究生. 主要研究方向为计算机视觉, 深度学习. E-mail: gongping_li@bit.edu.cn

陆耀

北京理工大学计算机学院教授. 主要研究方向为视觉神经计算, 图像图形处理与视频分析, 模式识别和机器学习. 本文通信作者. E-mail: vis_yl@bit.edu.cn

王子建

北京理工大学计算机学院博士研究生. 主要研究方向为计算机视觉, 深度学习. E-mail: wangzijian@bit.edu.cn

吴紫薇

北京理工大学计算机学院硕士研究生. 主要研究方向为计算机视觉, 深度学习. E-mail: wzw_cs@bit.edu.cn

汪顺舟

北京理工大学计算机学院博士研究生. 主要研究方向为计算机视觉, 深度学习. E-mail: shunzhouwang@bit.edu.cn