引用本文

武其达, 何小海, 林宏伟, 陶青川, 吴笛. 结合帧率变换与HEVC标准的新型视频压缩编码算法. 自动化学报, 2018, 44(9): 1626-1636. doi: 10.16383/j.aas.2017.c170121

WU Qi-Da, HE Xiao-Hai, LIN Hong-Wei, TAO Qing-Chuan, WU Di. A New Video Compression Encoding Algorithm Combining Frame Rate Conversion With HEVC Standard. ACTA AUTOMATICA SINICA, 2018, 44(9): 1626-1636. doi: 10.16383/j.aas.2017.c170121

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170121

关键词

帧率变换，HEVC，自适应抽帧，块覆盖，运动补偿插帧 

摘要

相比于之前主流的H.264视频压缩编码标准，HEVC在保证重建视频质量相同的前提下，可以将码率降低近50%，节省了传输所需的带宽.即便如此，由于一些特定的网络带宽限制，为继续改善HEVC视频编码性能，进一步提升对视频的压缩效率仍然是当前研究的热点.本文提出一种HEVC标准编码与帧率变换方法相结合的新型的视频压缩编码算法，首先在编码端，提出一种自适应抽帧方法，降低原视频帧率，减少所需传输数据量，对低帧率视频进行编解码；在解码端，结合从HEVC传输码流中提取的运动信息以及针对HEVC编码特定的视频帧的分块模式信息等，对丢失帧运动信息进行估计；最后，通过本文提出的改进基于块覆盖双向运动补偿插帧方法对视频进行恢复重建.实验结果证实了本文所提算法的有效性.

文章导读

随着高清数字电视(High definition television, HDTV)和高端多媒体系统的普及和发展, 人们对于视频的主观享受需求也越来越高, 这就对视频节目源的质量提出了更高的要求.节目源的质量越高, 视频的数据量越大, 传输所需的带宽也就越大, 因为视频节目源的质量提高主要依赖视频的空间分辨率和时间分辨率两个方面.视频的空间分辨率指的是视频的横向行和纵向列的像素点的个数; 视频的时间分辨率是单位时间内播放的视频的帧数, 即视频的帧速率(Frame rate)二者的值越大则视频中的信息表达的越清晰, 人们的观影效果也就越好.但传输的数据量也就越大.例如, 一个视频序列每秒25帧, 尺寸为720 p (1280×720最低要求的高清晰度信号), 在不压缩的情况下需要552.96 Mbit/s.目前已经出现了4 K (3840×2160)的电视信号以及8 K (8192 × 4320)的超高清视频, 这种视频源带来更好观影感受的同时, 带来的是更大的数据量.

新一代高效视频压缩标准(HEVC)与以前的H.264编码标准相比, 在同等重建视频质量的前提下, 已经节省了将近50 %的码率, 对于节省带宽资源做出了很大贡献.但是, 实际的视频传输应用需求中, 受到一些特殊的传输带宽限制, 为了进一步提高视频压缩编码的效率和性能, 本文提出一种结合帧率变换的视频压缩方法.

帧率变换方法作为提高压缩率的技术, 与HEVC标准编码相结合, 在编码端降低视频的帧率, 以减少编码帧数降低传输码流数据, 然后在解码端插帧恢复成原帧率的视频[1].视频帧率转换(Frame rate conversion)技术分为帧率下采(Frame rate down conversion)和帧率上采(Frame rate up-conversion)[2].帧率下采技术指降低原视频的帧率, 即减少每秒播放的帧数, 降低数据量, 达到节约传输带宽的目的.传统的帧率上采技术分为:非运动补偿插帧和运动补偿插帧两种.非运动补偿插帧恢复过程中不考虑原视频中物体的运动信息, 只是通过待插帧和当前帧两参考帧对应位置的像素值来恢复待插帧像素值, 例如帧重复法和帧平均法.运动补偿插帧[3]则是考虑了场景中物体的运动过程, 通过结合运动矢量信息和参考帧中像素值信息重建待插帧, 该方法可以有效地降低帧重复法引入的抖动和帧平均法引入的模糊现象.由于这种运动补偿插帧技术已经被广泛应用于电视广播, 所以也被称为基于运动补偿的帧率提升方法(Motion compensation-frame rate up conversion, MC-FRUC)[4]. Choi等专门提出了用于帧率上转换技术的双向运动补偿内插(Bidirectional motion compensated interpolation, BMCI)[5-6], 根据插帧过程中使用的运动矢量信息的来源不同, 运动补偿插帧分为两种, 一类是基于像素域, 即对解码后的视频重新进行运动估计, 再用获得的运动矢量信息进行插帧重建, 例如Kang等[7]提出将基于扩展块的运动估计算法用于帧率上转换技术, 另外还提出一种多重运动估计算法[8], Hu等[9]提出的一种块大小可变的运动估计算法, Inseo等[10], 通过一种自适应运动估计方法获取的运动矢量用于运动补偿插帧, Xu等[11]提出的则是一种结合运动分割及边缘细化的运动估计方法, Cao等[12]提出一种基于多参考帧及软决策的运动估计算法, 还有一些文章中使用快速光流运动估计方法来代替基于块匹配的运动估计方法[13-14], 也取得了一定的效果, 另外孙琰玥等[15]提出了一种适用于视频超分辨率重建的基于小波变换的改进的自适应十字模式搜索算法.第二类是基于压缩域的, 该种方法通过从编码后的码流中提取相邻帧的运动矢量信息, 用于运动补偿插帧.例如Kim等[16]提出了一种低计算复杂度的帧率提升算法, 引入了基于预测的运动矢量平滑以及基于局部平均的运动补偿方法, 鲁志红等[17]提出一种基于加权运动估计和运动矢量分割的内插方法, 其中加权运动估计可以改善运动矢量的准确度.与前者相比, 第二种方法省去了对编码后视频重新运动估计以获取运动矢量的过程, 大大减少了计算量, 提高了时间效率.

尽管运动补偿插帧方法效果明显优于非运动补偿插帧, 但是, 传统的运动补偿插帧方法插帧重建后的视频会有空洞和块效应, 为解决上述问题, 改善视频压缩编码的性能, 本文提出一种结合帧率变换与HEVC标准的新型视频压缩编码算法.

图 1  自适应抽帧结果图

图 2  HEVC中的运动估计

图 3  双向运动补偿插帧

本文的结合帧率变换和HEVC标准的新型视频压缩编码算法, 充分利用了视频编码过程中提取的参考帧运动矢量信息和帧内分块信息, 省去对于丢失帧的运动信息重新运动估计的过程, 提高了编码的效率, 同时由于编码前对视频进行了自适应抽帧减少了编码帧数, 从而减少了传输的数据量, 节省了传输的带宽, 通过相关实验和结果表明, 使用本文算法的重建视频有较好的主客观质量, 性能也在中低码率段优于HEVC标准的编解码方法.

然而, 本文提出的算法仍然存在进一步提升性能的地方, 由于该方法在编码端对原视频进行自适应抽帧, 由参考帧运动矢量信息结合帧内分块信息对丢失帧进行运动矢量估计, 因此对于运动不规则的视频估计结果不够准确, 为进一步提升该方法对运动剧烈序列的有效性, 可结合图像中的纹理信息进行进一步的研究和探索.

作者简介

武其达

四川大学电子信息学院硕士研究生. 主要研究方向为图像通信和视频编码与传输. E-mail: wqdlucky@163.com

林宏伟 

四川大学电子信息学院博士研究生. 主要研究方向为视频压缩和图像通信. E-mail: linhongwei@xbmu.edu.cn

陶青川 

博士, 四川大学电子信息学院副教授. 主要研究方向为模式识别, 图像处理, 机器视觉与机器学习. E-mail: taoqingchuan@scu.edu.cn

吴笛 

博士, 中国人民武装警察部队警官学院副教授. 主要研究方向为图像处理和图像通信. E-mail: wudi1945@163.com

何小海 

博士, 四川大学电子信息学院教授.主要研究方向为图像处理, 模式识别和图像通信. 本文通信作者. E-mail: hxh@scu.edu.cn