引用本文

陆志芳, 钟宝江. 基于预测梯度的图像插值算法. 自动化学报, 2018, 44(6): 1072-1085. doi: 10.16383/j.aas.2017.c160793

LU Zhi-Fang, ZHONG Bao-Jiang. Image Interpolation With Predicted Gradients. ACTA AUTOMATICA SINICA, 2018, 44(6): 1072-1085. doi: 10.16383/j.aas.2017.c160793

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160793

关键词

图像插值，预测梯度，对比度，梯度，边缘 

摘要

提出一种新的非线性图像插值算法，称为基于预测梯度的图像插值（Image interpolation with predicted gradients，PGI）.首先沿用现有的边缘对比度引导的图像插值（Contrast-guided image interpolation，CGI）算法思想对低分辨率图像中的边缘进行扩散处理，然后预测高分辨率图像中未知像素的性质，最后对边缘像素采用一维有方向的插值，对非边缘像素采用二维无方向的插值.与通常的非线性图像插值算法相比，新算法对图像边缘信息的理解更为完善.与CGI算法相比，由于梯度预测策略的使用，PGI算法能够更有效地确定未知像素的相关性质（是否为边缘像素，以及是边缘像素时其边缘方向）.实验结果表明，PGI算法无论在视觉效果还是客观性测评指标方面均优于现有的图像插值算法.此外，在对彩色图像进行插值时，本文将通常的RGB颜色空间转化为Lab颜色空间，不仅减少了伪彩色的生成，而且降低了算法的时间复杂度.

文章导读

图像插值广泛应用于图像处理的各个领域, 例如人脸检测、医学图像分析、超高清电视应用等[1-2], 其目的是将一幅图像从它的低分辨率(Low resolution, LR)版本变成相应的高分辨率(High resolution, HR)版本.例如, 在超高清电视的应用中, 大部分的电视节目还是标清信号, 将这些低分辨率的图像信号转为超高分辨率的图像信号成为各电视生产企业正在采取的一种手段.这样的信号转换如何实现, 就是图像插值研究工作者需要致力解决的问题.

在过去的几十年中, 人们提出了很多图像插值算法.这些算法从技术思想方面可概略地分为两类:一类是基于局部数据(Local-data-based)的插值方法[3-18], 另一类是基于样例(Example-based)的插值方法[19-22].两者的主要区别在于, 基于局部数据的插值方法根据待插值图像的当前像素, 利用数学方法直接进行插值; 而基于样例的插值方法则首先通过训练和学习建立起低分辨率图像和高分辨率图像之间的一种映射关系, 然后利用图像块匹配和替换来完成插值.这两类插值算法各具特色, 分别有不同的优势和局限性.

本文主要研究和考虑基于局部数据的插值方法(除特别说明外, 以下章节中提到的插值算法均为这类算法).与基于样例的插值方法相比, 这类方法一般具有较低的时间和空间复杂度.从建模特征方面, 这类方法又可细分为线性插值方法和非线性插值方法.两者的不同点在于, 线性方法在插值过程中采用同一个插值内核, 这种做法会使得图像中的边缘变得模糊不清, 达不到高清图像的视觉效果; 非线性方法则会对图像不同部分采用不同的插值策略, 其主要的出发点就是为了更好地处理图像在边缘处的插值效果.

本文提出一种非线性插值算法, 称为"基于预测梯度的图像插值(Image interpolation with predicted gradients, PGI)算法".与现有的非线性插值方法相比, PGI算法能够更有效地区分图像的边缘像素和非边缘像素.具体来说, 在通过梯度信息判断某一像素是否是边缘像素时, 我们提出了一种梯度预测策略, 提高了像素的区分精度, 最终提升了图像的插值效果.此外, 在对彩色图像进行插值时, 我们将通常的RGB颜色空间转换到更符合人眼感知特性的Lab颜色空间.在Lab颜色空间上执行新算法, 不仅减少了图像的伪彩色, 而且降低了图像的插值时间.

图 1  对图像边缘的两种不同阐述方式

图 2  插值示意图, 其中实心点表示已知的像素(从LR图像中直接复制得到), 空心点表示未知的像素

图 3  数字图像的边缘方向示意图

对图像进行高分辨率插值的关键在于对边缘的处理.通常的非线性插值算法对边缘的理解与边缘检测方法类似, 即1~2个像素宽的线条, 从而插值后会发生边缘模糊的现象.为此, 本文沿用了边缘对比度引导算法的思想, 首先对低分辨率图像中的边缘做扩散处理, 得到"带状化"边缘, 用以引导对高分辨率图像的插值.在计算高分辨率图像中未知性质的像素时, 我们提出了一种梯度预测策略, 即在未知像素周围选择最相邻的16个已知梯度的像素, 以此估算出当前像素的梯度.通过这种策略, 可以对未知像素的性质(是否是边缘像素, 以及是边缘像素时其边缘方向)进行更有效的判断.在具体插值时, 对边缘像素采用有方向的一维插值, 而对非边缘像素采用二维无方向插值.实验结果表明, 本文提出的新算法可以取得比现有算法更好的插值效果.在对彩色图像进行插值时, 本文将通常的RGB颜色空间转化为Lab颜色空间.这一做法的主要考虑是Lab颜色空间更符合人类的视觉特性, 从而可以减少伪彩色的生成.此外, 由于仅需在L颜色通道中执行基于梯度预测的图像插值, 因此可以显著降低彩色图像插值的计算复杂度.

作者简介

陆志芳

苏州大学计算机科学与技术学院硕士研究生.2014年获得苏州大学计算机科学与技术学院学士学位.主要研究方向为图像处理, 计算机视觉.E-mail:20144227015@stu.suda.edu.cn

钟宝江   

苏州大学计算机科学与技术学院教授.主要研究方向为计算机视觉, 图像分析与理解.本文通信作者.E-mail:bjzhong@suda.edu.cn