引用本文

曹坪, 林树冉, 张淳杰, 郑晓龙, 赵耀. 梯度引导的JPEG压缩图像超分辨率重建. 自动化学报, 2025, 51(6): 1261−1276 doi: 10.16383/j.aas.c240517

Cao Ping, Lin Shu-Ran, Zhang Chun-Jie, Zheng Xiao-Long, Zhao Yao. Gradient-guided super-resolution reconstruction for JPEG-compressed images. Acta Automatica Sinica, 2025, 51(6): 1261−1276 doi: 10.16383/j.aas.c240517

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240517

关键词

JPEG压缩，超分辨率，图像重建，梯度先验 

摘要

在真实场景中, 图像往往同时遭受低分辨率、压缩失真及噪声等多种退化因素影响. 现有方法通常聚焦于单一退化类型, 难以应对复杂的复合退化情况. 为解决真实场景中普遍存在的低分辨率与JPEG压缩伪影复合退化问题, 提出一种梯度引导的联合JPEG压缩伪影去除和超分辨率重建网络. 该网络以超分辨率分支为主导, 融合JPEG压缩伪影去除分支与梯度引导分支的非对称特征, 实现了高质量图像重建. JPEG压缩伪影去除分支专注于压缩伪影抑制, 缓解了主导分支的重建负担. 梯度引导分支则精准估计图像梯度, 引导主导分支恢复更多细节与纹理. 实验结果表明, 该方法提升了低分辨率JPEG压缩图像的重建质量.

文章导读

近年来, 数据驱动的深度学习研究取得重大进展[1−2], 逐渐在计算机视觉领域得到广泛应用. 然而, 受采集设备和采集环境的影响, 采集的图像分辨率较低, 难以满足实际应用的需要. 因此, 图像超分辨率(Super-resolution, SR)作为一项经典的底层视觉任务, 已经成为计算机视觉领域的研究热点[3−5], 被应用于人脸图像超分、医学影像超分、遥感图像超分、深度图超分、压缩图像超分、老照片修复等场景. 随着深度学习理论和卷积神经网络技术的不断发展, 基于深度学习的图像超分辨率方法[6−8]也不断突破瓶颈, 展现出令人印象深刻的恢复性能. 对于图像中的高频和低频信息, 现有的方法通常使用单个分支进行同时处理. 由于图像中的高频与低频信息具有不同的统计特性, 仅采用单一分支网络同时建模两类信息可能导致相互干扰, 进而对图像超分辨率重建性能产生不利影响. 因此, 有研究提出双分支结构的网络[9−10]来分别处理高频和低频信息, 提升了图像重建效果. 此外, 一些研究尝试在额外分支中引入图像内部先验信息[11−13], 如全变差先验、稀疏先验、梯度先验等, 以辅助图像超分辨率. 然而, 这类方法往往在不同分支中采用相似结构, 且不同分支之间的信息交互机制较为简单, 导致先验知识在网络中的潜力未能得到充分利用. 

目前的超分辨率方法在构建高分辨率(High-resolution, HR)图像的退化模型时, 倾向于将其建模为一个简单的双三次下采样过程[14−16]. 事实上, 这种理想的退化模型在现实生活中并不多见. 在真实场景中, 图像的退化往往受到多种因素的交织影响, 包括但不限于光学模糊、运动模糊、噪声干扰以及压缩失真等. 因此, 有研究尝试针对多种退化构建统一的架构[17−19], 以同时处理多种退化类型, 如噪声、模糊、压缩伪影等. 然而, 这类研究通常假设每个输入图像仅包含一种单一退化类型, 忽略多种退化之间的潜在关系, 难以针对复合退化的特性进行深度建模和优化. 在复杂退化场景下, 现有方法的性能往往难以令人满意[20−23]. 特别地, 压缩失真作为一种日常生活中极为常见的退化形式, 显著影响了图像质量. 在社交媒体图片分享和网络视频传输等场景中, 由于存储空间和传输带宽的限制, 有损压缩(如JPEG压缩)与下采样已成为必不可少的环节. 如图1所示, 经过JPEG压缩与下采样退化的图像中不仅存在明显的块状伪影, 还伴随模糊和噪声. 严重退化的压缩图像对原始高分辨率图像中高频细节的重建带来巨大挑战, 现有方法在应对此类复杂退化时通常难以实现理想的重建效果. 

图 1  JPEG压缩图像示例

针对上述问题, 本文提出一种梯度引导的联合JPEG压缩伪影去除和超分辨率网络(Joint JPEG compression artifact removal and super-resolution network, JCARSR). 该网络尝试引入多个分支来分担主导网络的学习压力, 以降低复合退化任务的学习难度. 具体来说, JCARSR的主导分支是基于多尺度无非线性激活模块的超分辨率分支, 负责去除JPEG压缩伪影并重建高分辨率图像, 从而实现对复合退化任务的精确求解. 而作为辅助的JPEG 压缩伪影去除分支, 在保持与超分辨率主导分支相似网络结构的基础上, 采用更轻量化的设计, 以促进两分支间的信息交互. 该分支致力于去除低分辨率图像中的压缩伪影, 并通过动态反馈中间层特征为超分辨率分支提供富有参考意义的优化导向. 此外, 考虑到这种严重退化的图像中边缘纹理部分所遭受到的破坏更加显著, 本文引入基于多尺度交叉卷积模块的梯度引导分支, 为超分辨率分支提供不同尺度和不同方向的边缘信息引导. 为模拟真实退化过程, 本文对图像超分辨率领域现有数据集施加低分辨率(Low-resolution, LR)和JPEG压缩退化, 合成用于训练和测试的数据集. 实验结果表明, 相比现有的组合式两阶段方法和经典超分辨率方法, 本文提出的JCARSR在简化图像处理流程的同时, 进一步取得更优的恢复性能. 

本文的组织结构如下: 第1节简要回顾图像超分辨率算法和JPEG压缩伪影去除算法; 第2节具体介绍JCARSR的整体框架; 第3节详细给出对比实验及分析结果; 第4节总结全文. 

图 2  JCARSR的网络结构

图 3  多尺度无非线性激活模块

本文针对 JPEG压缩图像超分辨率这一具有挑战性的复合退化任务, 创新性地提出一种梯度先验引导的联合JPEG压缩伪影去除及图像超分辨率网络, 旨在通过端到端的单次处理流程, 实现对图像JPEG压缩伪影去除和空间分辨率提升的双重修复. JCARSR被设计成三分支的网络结构, 其中JPEG 压缩伪影去除分支用于分散主导超分辨率分支压缩伪影去除方面的学习压力, 而梯度引导分支则帮助减轻主导分支高频细节恢复方面的学习负担. 此外, 为有效抑制噪声并实现优化线索的定向传递, JCARSR的三个分支之间被嵌入多个单向特征融合模块来控制非对称信息的流动. 实验结果表明, JCARSR方法能够实现对 JPEG压缩图像的高效重建和高精度复原. 

作者简介

曹坪

北京交通大学计算机科学与技术学院信息科学研究所博士研究生. 主要研究方向为目标检测, 语义分割和低质量视觉重建. E-mail: pingcao@bjtu.edu.cn

林树冉

北京交通大学计算机科学与技术学院信息科学研究所硕士研究生. 主要研究方向为图像超分辨率重建. E-mail: 21120292@bjtu.edu.cn

张淳杰

北京交通大学计算机科学与技术学院信息科学研究所教授. 主要研究方向为图像处理与理解, 计算机视觉和多媒体数据处理与分析. 本文通信作者. E-mail: cjzhang@bjtu.edu.cn

郑晓龙

中国科学院自动化研究所研究员. 主要研究方向为大数据与社会计算, 多模态数据感知与理解. E-mail: xiaolong.zheng@ia.ac.cn

赵耀

北京交通大学计算机科学与技术学院信息科学研究所教授. 主要研究方向为图像/视频编码, 数字水印和取证, 视频分析和理解. E-mail: yzhao@bjtu.edu.cn