Ouariel的个人博客分享 http://blog.sciencenet.cn/u/Ouariel

博文

基于深度学习的视频超分辨率重建算法进展

已有 882 次阅读 2025-8-14 15:29 |系统分类:博客资讯

引用本文

 

唐麒, 赵耀, 刘美琴, 姚超. 基于深度学习的视频超分辨率重建算法进展. 自动化学报, 2025, 51(7): 14801524 doi: 10.16383/j.aas.c240235

Tang Qi, Zhao Yao, Liu Mei-Qin, Yao Chao. A review of video super-resolution algorithms based on deep learning. Acta Automatica Sinica, 2025, 51(7): 14801524 doi: 10.16383/j.aas.c240235

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240235

 

关键词

 

视频超分辨率重建,深度学习,循环神经网络,注意力机制,光流估计,可变形卷积 

 

摘要

 

视频超分辨率重建是底层计算机视觉任务中的一个重要研究方向, 旨在利用低分辨率视频的帧内和帧间信息, 重建具有更多细节和内容一致的高分辨率视频, 有助于提升下游任务性能和改善用户观感体验. 近年来, 基于深度学习的视频超分辨率重建算法大量涌现, 在帧间对齐、信息传播等方面取得突破性的进展. 首先, 在简述视频超分辨率重建任务的基础上, 梳理现有的视频超分辨率重建的公共数据集及相关算法; 接着, 详细综述基于深度学习的视频超分辨率重建算法的创新性工作进展情况; 最后, 总结视频超分辨率重建算法面临的挑战及未来的发展趋势.

 

文章导读

 

随着便携式消费级相机的发展和第五代移动通信技术的普及, 视频已成为人们日常生活中最主要的视觉媒介之一. 在用户追求高清画质的同时, 相机拍摄得到的视频受到采集设备精度、网络传输带宽等因素的制约, 造成视频的成像分辨率和采样频率低、存在噪声等复杂的退化问题. 由图像超分辨率重建延伸而来的视频超分辨率重建(Video super-resolution, VSR)旨在将低分辨率(Low-resolution, LR)视频重建为相应的高分辨率(High-resolution, HR)版本. 视频超分既要求复原的高分辨率视频与给定的低分辨率视频保持内容的一致性和连续性, 同时又希望重建的高分辨率视频细节清晰、真实和自然, 广泛应用于影像修复[1]、网络传输[2]和智能分析[3−4]等领域.

 

视频超分辨率重建算法可以利用相邻帧包含的高度相关的时序信息, 但时序信息未对齐会导致重建的视频出现帧间内容不连贯、抖动的现象, 限制视频超分辨率重建性能的提升. 因此, 如何有效利用视频的帧间信息是视频超分辨率重建研究的热点和难点. 早期的VSR算法直接将图像超分的插值法(如双线性插值、双立方插值)应用于每帧视频的高分辨率重建, 并未考虑视频的时间维度造成重建视频出现帧间不连贯的问题. 因此, 有些算法结合贝叶斯[5]、最大期望[6]等技术和视频的时空信息提升视频的重建质量. 然而, 这些方法受限于严苛的假设条件, 不足以适应复杂多变的视频内容. 此外, 这些方法难以有效复原丢失的高频信息, 无法满足目前高清显示设备的需求.

 

伴随着深度学习技术在图像处理领域的成功应用[7−8], 基于深度学习的视频超分辨率重建算法也迅速发展. 得益于强大的非线性学习能力, 基于深度学习的VSR算法可以有效提取和融合视频中的时空信息, 获得优于传统VSR算法的重建效果. 基于深度学习的VSR算法主要包括对齐、融合和重建三个部分. 其中, 对齐模块利用光流、可变形卷积等方法可以解决卷积操作导致的感受野受限、应对相邻帧中较大运动变化造成的模糊和伪影问题. 基于循环神经网络的方法利用之前视频帧信息的隐状态完成视频帧的对齐和融合, 克服卷积神经网络无法建模长程时序信息的缺陷. 基于TransformerVSR算法利用注意力机制获取视频帧内和帧间的相关性, 获得优于其他网络结构的特征表示能力和视频的重建性能, 可以并行处理所有视频帧, 不存在循环网络的特征衰减和噪声放大等问题. 上述算法主要将VSR视作回归问题, 在大规模视频序列数据集上学习从低分辨率到高分辨率视频帧的非线性映射, 但重建的视频帧中存在纹理模糊的问题. 基于生成模型的VSR算法可以在保持重建视频时序一致性的同时, 有效地建模高分辨率视频帧的数据分布, 这类方法复原的高分辨率视频中包含清晰、真实的细节.

 

本文聚焦于基于深度学习的VSR算法, 从研究进展与存在的问题及挑战等方面全面梳理VSR, 并系统概述相关技术的进展情况.

 1  视频超分辨率重建数据集REDSVimeo-90K示例

 2  部分VSR模型在REDS据集的可视化比较结果

 3  部分VSR模型在Vid4数据集的可视化比较结果

 

视频超分辨率重建是计算机视觉领域具有重要研究意义和应用价值的课题. 本文首先在深度学习技术的视角下对视频超分辨率重建任务进行定义, 总结常用的公共数据集; 然后, 根据不同的信息传播方式, 将基于深度学习的视频超分辨率重建算法分为基于并行架构的视频超分辨率重建算法和基于循环架构的视频超分辨率重建算法, 并梳理相关算法的进展情况; 最后, 总结了目前VSR算法面临的挑战及下一步的研究思路.

 

作者简介

 

唐麒

北京交通大学信息科学研究所硕士研究生. 主要研究方向为图像与视频复原. E-mail: qitang@bjtu.edu.cn

 

赵耀

北京交通大学信息科学研究所教授. 主要研究方向为图像/视频压缩, 数字媒体内容安全, 媒体内容分析与理解, 人工智能. E-mail: yzhao@bjtu.edu.cn

 

刘美琴

北京交通大学信息科学研究所教授. 主要研究方向为多媒体信息处理, 三维视频处理, 视频智能编码. 本文通信作者. E-mail: mqliu@bjtu.edu.cn

 

姚超

北京科技大学计算机与通信工程学院副教授. 主要研究方向为图像/视频压缩, 计算机视觉和人机交互. E-mail: yaochao@ustb.edu.cn



https://wap.sciencenet.cn/blog-3291369-1497653.html

上一篇:工业外观检测中的图像扩增方法综述
下一篇:多标签情感计算中的TSK模糊系统与域适应方法研究
收藏 IP: 222.131.247.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-8-17 03:18

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部