引用本文

肖进胜, 朱力, 赵博强, 雷俊锋, 王莉. 基于主成分分析的分块视频噪声估计. 自动化学报, 2018, 44(9): 1618-1625. doi: 10.16383/j.aas.2017.c160764

XIAO Jin-Sheng, ZHU Li, ZHAO Bo-Qiang, LEI Jun-Feng, WANG Li. Block-based Video Noise Estimation Algorithm via Principal Component Analysis. ACTA AUTOMATICA SINICA, 2018, 44(9): 1618-1625. doi: 10.16383/j.aas.2017.c160764

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160764

关键词

视频噪声估计，块匹配，正态分布，主成分分析 

摘要

噪声估计在视频去噪领域具有重要的研究意义.实际生活中的噪声都是未知的，然而现存的视频去噪算法通常都假定视频的噪声水平是已知的，本文提出一种基于主成分分析（Principal component analysis，PCA）的分块视频噪声估计算法.首先，基于帧间进行块匹配寻找相似块，得到差分图像以消除视频运动的影响；其次，将正态分布函数作为阈值函数简化噪声估计算法模型；最后，设置明确迭代指标使得估计的结果更加精确，且降低了计算复杂度.主观视觉效果和客观指标对比表明，本文提出的基于主成分分析的分块视频噪声估计算法比其他优秀的噪声估计算法误差小同时鲁棒性高，能准确地估计视频噪声.

文章导读

视频信号在捕捉、记录和传输的过程中都可能引入噪声.引入的噪声严重降低视频画面质量, 影响观众的视觉体验.而视频去噪是将数字视频图像的特点与现有的信号处理技术相结合, 尽可能地降低视频图像中噪声干扰的一种多媒体信息处理技术.目前存在的大多数视频去噪算法的性能都不同程度地依赖于含噪视频中的噪声参数.虽然通过各种各样的算法, 可以达到很理想的去噪效果, 但大多数算法都有个假设前提, 即噪声强度是预先知道的[1-3].人为给定噪声参数或者噪声参数不准确, 都会导致去噪效果不理想.因此对于含噪视频的噪声参数估计是视频去噪研究中一个关键性问题.近年来, 图像去噪算法在空域和变换域等取得了较大发展.其中较为优秀的是Knaus等的基于空域和频域的双域滤波图像去噪算法[4], 去噪后的图像细节信息丰富, 但是需要设置与噪声有关的经验参数. Pierazzo等[5]利用非局部贝叶斯去噪替换了文献[4]中的引导层, 构造图像快速去噪算法, 但图片的适用性不高.为了实现视频噪声去除, 肖进胜等[6]将文献[4]和三维块匹配算法相结合将图像去噪拓展到了视频去噪领域, 主客观效果较好, 但对未知噪声水平时鲁棒性较差.另外Knaus等[7]基于双域滤波引入了鲁棒噪声估计, 部分解决了人为设定噪声值的问题. Dabov等[8]对视频图像进行3D稀疏变换后再滤波(Video block-matching and 3-D filtering, VBM3D), 取得了较优秀的去噪性能.但该算法耗时高, 且去噪视频存在块效应. Matteo等提出了VBM4D[9]算法, 该算法将VBM3D拓展到4维结构, 能更好地保存视频的细节.上述去噪算法均没有对噪声进行有效的估计, 对于未知噪声的视频序列不能获得其最佳的去噪效果.

高斯白噪声是视频图像采集中最常见的一种噪声, 针对该噪声的估计主要分为空域、时域和空时域[10]三种.空域法通常分为基于块[11-12], 基于滤波[13]和变换域三种方法[14]. Amer等[15]采用自适应平均的方法对所有块的方差进行选取和平均, 基于块进行噪声估计, 但该算法对平滑块的数量有严格的要求.基于图像块的算法估计结果受图像内容和噪声强度影响很大, 而Pyatykh等[16]提出的基于主成分分析(Principal component analysis, PCA)的方法则对含噪图像没有严格的要求, 且估计结果较精确.柳薇[17]利用PCA的思想对图像块进行噪声估计, 图像块的协方差矩阵最小特征值作为噪声方差的估计值, 该方法无需图像含有许多同种类区域. Aditya等[18]是一种基于奇异值分解的比较稳定的噪声估计方法, 用奇异值的尾部数据进行噪声强度估计, 降低图像信息对噪声估计的干扰.而时域的方法主要考虑帧与帧之间的关系, 对视频的整体运动较难把握, 因此需要进行运动检测或者运动补偿. Yin等[19]提出基于运动估计的视频噪声估计算法, 考虑到了视频编码, 该算法能对各类型的视频信号进行准确的估计.目前主要有算法[10, 20-21]利用了时空域的信息对视频噪声估计, Zlokolica等[20]主要用小波变换系数对空时域进行分析, 然而该方法计算复杂性较高. Ghazal等[10]利用5个域来探索空时域的信息, 每个域的局部相似性主要利用了高斯拉普拉斯算子, 该算法估计效果较好. Yang等[21]利用Sobel梯度作为同种类块的衡量标准, 利用了3个域进行噪声估计, 计算复杂性降低.总体上说, 噪声估计算法的效果都有待提高.

考虑到PCA对含噪图像和噪声类型的鲁棒性, 本文提出一种基于PCA的分块视频噪声估计.本文所提出的方法有如下创新: 1)首先通过前后帧块匹配寻找相似块, 充分利用了视频序列的相关性, 并进行前后帧的差分运算以消除视频运动的影响. 2)使用正态分布函数作为选择弱纹理块的阈值函数, 使得计算复杂度降低, 同时简化了算法模型. 3)设置了明确的迭代指标, 使得最终结果更加精确.通过理论分析和实验结果表明本文的视频噪声估计算法具有较大的应用范围, 成功的运用于盲视频去噪.

图 1  Gamma概率密度图

图 2  在低噪声强度下估计效果对比

图 3  在高噪声强度下估计效果对比

本文提出了一种新颖的视频噪声估计算法, 充分利用了视频序列的相关性, 利用帧间进行相似块的搜索, 基于最小代价准则获得帧间的差分图像, 消除了视频运动的影响, 得到初步的弱纹理差分图像:引入基于块的噪声估计, 能自适应地获取噪声水平参数, 并提出正态分布函数作为文中选择弱纹理块的阈值函数, 降低了计算复杂度, 另设置了明确的迭代指标使得估计的噪声水平更加精确.最后考虑像素会受到噪声饱和效应的影响, 避免了在高噪声水平下的低估现象.通过理论分析和实验结果表明本文提出的视频噪声估计算法估计精确, 可运用到盲视频去噪领域, 具有广阔的应用前景.

作者简介

肖进胜

博士, 武汉大学电子信息学院副教授.2001年于武汉大学获得理学博士学位.主要研究方向为视频图像处理, 计算机视觉, 视觉感知增强.E-mail:xiaojs@whu.edu.cn

朱力 

武汉大学电子信息学院硕士研究生.2016年获得西安邮电大学电子信息工程学士学位.主要研究方向为计算机视觉.E-mail:zhul@whu.edu.cn

赵博强  

武汉大学电子信息学院硕士研究生.2015年获得河南工业大学电子信息工程学士学位.主要研究方向为计算机视觉.E-mail:zbq@whu.edu.cn

王莉  

博士, 烽火通信科技股份有限公司项目经理.2011年获得武汉大学博士学位.主要研究方向为图像处理与光纤通信.E-mail:wl@fiberhome.com.cn

雷俊锋 

博士, 武汉大学电子信息学院副教授.2002年于武汉大学获得理学博士学位.主要研究方向为图像处理与计算视觉成像.本文通信作者.E-mail:jflei@whu.edu.cn