引用本文

何磊, 易遵辉, 谢永芳, 陈超洋, 卢明. 基于Retinex先验引导的低光照图像快速增强方法. 自动化学报, 2024, 50(5): 1035−1046 doi: 10.16383/j.aas.c230585

He Lei, Yi Zun-Hui, Xie Yong-Fang, Chen Chao-Yang, Lu Ming. Fast enhancement method for low light images guided by Retinex prior. Acta Automatica Sinica, 2024, 50(5): 1035−1046 doi: 10.16383/j.aas.c230585

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230585

关键词

低光照图像增强，Gamma校正图，Retinex模型，噪声抑制 

摘要

低光照图像增强旨在提高在低光照环境下所采集图像的视觉质量. 然而, 现有的低光照图像增强方法难以在计算效率与增强性能之间达到很好的平衡, 为此, 提出一种基于Retinex先验引导的低光照图像快速增强方法, 将Retinex模型与Gamma校正相结合, 快速输出具有对比度高、视觉效果好和低噪声的图像. 为获取具有良好光照的图像以引导确定与输入图像尺寸大小一致的Gamma校正图, 提出基于Retinex模型的先验图像生成方法. 针对所提先验图像生成方法在极低光照区域中存在颜色失真的问题, 提出一种基于融合的Gamma校正图估计方法, 采用反正切变换恢复极低光照区域的颜色和对比度, 以提升Gamma校正图在极低光照区域的增强性能. 为抑制输出图像的噪声, 考虑到完全平滑的Gamma校正图不会平滑细节纹理的特点, 提出基于域变换递归滤波的Gamma校正图优化方法, 降低输出图像噪声的同时保持颜色和对比度. 实验结果表明, 所提方法不仅在主客观图像质量评价上优于现有大多数主流算法, 而且在计算效率上具有十分显著的优势.

文章导读

由于环境的限制和影响, 在较差的光照条件下采集的图像往往会出现不良的退化, 这些图像难以提供丰富的视觉信息, 存在可见度差、对比度低以及噪声多等问题[1], 造成后续任务性能下降, 如显著性检测、人脸识别和语义分割等[2]. 因此, 迫切需要对弱光环境下退化图像进行增强, 将低光照图像恢复至正常光照下的高质量图像, 以满足人类视觉感知需要和增强下游高水平任务对弱光场景的适应性.

近年来, 许多国内外学者提出各种各样低光照图像增强技术, 以提高在低光照环境下捕获的退化图像的质量. 目前, 用于低光照图像增强的传统方法主要有直方图均衡化[3-4]和Gamma校正[5-6]. 直方图均衡化能在一定程度上消除图像光照不均并增强对比度, 然而可能无法对局部区域的光照做出针对性调整. 传统Gamma校正的方法可以实时处理低光照图像且不会增大噪声强度, 但传统Gamma校正的方法一般都是经验地为给定的图像设置单一的全局Gamma校正参数, 既不能保证局部区域的合理增强, 也不具备为不同的图像提供自适应增强的能力.

Retinex理论模型[7]考虑了低光照图像退化的物理过程, 通过构建图像成像的数学模型将低光照图像分解为反射图和光照图. 基于Retinex的方法[8-10]以Retinex理论模型为基石, 通过优化光照图和反射图或其他途径实现低光照图像的增强. 尽管这些方法能够获得具有高对比度、色彩鲜艳和显著纹理的图像, 但是会不可避免地增强噪声, 尤其是在极低亮度的区域, 难以在图像质量与处理效率之间达到满意的平衡.

基于深度学习的增强方法因其强大的学习能力而广受研究. 这些方法大致可分为监督式学习方法和非监督式学习方法. 前者通常在成对数据集上执行逐像素的监督[11-13], 以使深度模型产生高质量的正常光照图像结果. 然而现有的成对数据集大多是基于理论物理模型合成的, 训练数据集时可能出现过度拟合问题, 导致深度模型无法鲁棒地处理真实环境下的各种低光图像. 后者则是基于先验知识约束以摆脱成对数据集的限制[14-16], 但可能会产生曝光不足或曝光过度的结果, 严重影响视觉质量. 不仅如此, 基于深度学习的增强方法往往需要强大的硬件平台和较多的模型训练参数来提升低光照图像增强的处理效率和性能, 难以实现轻量化部署.

图1显示了不同方法的低光照增强结果, 其中, 黄色框放大区域的数值为当前区域的绝对梯度平均值. 基于Retinex的方法, 如MF[9]和LIME[8], 可产生色彩丰富、对比度高、纹理明显的图像, 但过度增强了高光区域和噪声区域. 基于深度学习的方法, 如SCI[16], 与LIME类似, 能够输出具有良好光照和纹理丰富的图像, 但难以很好地压制强光和噪声. 从图1可看出, 不同γ值的Gamma校正方法存在视觉效果差和对比度低的问题, 但从黄色方框放大的区域来看, 相比于Retinex方法和深度学习方法, 不同γ值的Gamma校正方法都具有良好的噪声抑制性能. 显然, 为给定的图像设置单一的全局Gamma校正参数是导致Gamma校正方法增强性能差的主要原因之一, 如果为输入图像的不同颜色区域设定不同的Gamma校正参数, 则可以显著提升输出图像对比度的同时压制噪声幅值. 然而, 不同区域所设定的Gamma校正参数往往是不确定的, 需要引入额外的先验知识引导.

图 1  不同方法的低光照增强结果

为此, 本文提出一种基于Retinex先验引导的低光照图像快速增强方法, 该方法首次将Retinex模型与Gamma校正相结合, 通过两者优势互补, 快速输出具有对比度高、视觉效果好和低噪声的图像, 达到良好的低光照图像增强性能, 如图1(h)所示, 本文所提方法在保持色彩对比度和细节信息的同时很好地抑制了噪声. 该方法首先基于Retinex模型生成具有良好光照的图像, 以引导确定低光照图像每个像素的Gamma校正参数, 形成与输入图像尺寸大小一致的Gamma校正图. 然后, 针对Retinex模型难以在极低光照区域(极低信噪比区域)中恢复目标信息的问题, 采用反正切变换增强极低光照区域的颜色和对比度. 为提升Gamma校正图在极低光照区域的增强性能, 提出一种基于光照信息的像素级融合框架以改善极低光照区域的Gamma校正图. 最后, 考虑到完全平滑的Gamma校正图不会平滑细节纹理的特点, 为此, 利用具有边缘感知能力的域变换递归滤波来优化Gamma校正图, 降低噪声的同时保持输出图像的颜色和对比度. 总体而言, 本文的主要贡献归纳为: 1) 本文首次将Gamma校正的噪声抑制特性与Retinex模型的光照增强特性相结合, 在增强低光照图像整体光照和颜色的同时大幅抑制噪声幅值; 2) 本文将Gamma校正值拓展为与输入图像尺寸大小一致的Gamma校正图, 并提出基于Retinex先验引导的低光照图像快速增强方法, 实验结果表明所提方法在主客观图像质量评价上优于现有大多数主流算法; 3) 本文所提方法的大多数计算都是在像素级进行的, 在低光照图像增强任务上具有非常高效的计算效率.

图 2  所提方法的算法流程框架

图 3  获取先验图像的示例

本文提出一种基于Retinex先验引导的低光照图像快速增强方法, 该方法基于Retinex模型生成理论光照下的先验图像, 以引导Gamma校正恢复原始低光照图像的光照信息, 在增强图像对比度和保护细节信息的同时有效地抑制了图像噪声水平, 具有较良好的视觉效果. 所提方法在低光照图像数据集进行了性能评估, 大量的定性和定量实验证明所提方法不仅在增强低光照图像质量方面具有明显优势, 而且在计算效率上优于现有的先进方法.

当然, 所提出的方法也存在一些不足, 如噪声抑制问题: 所提方法能够抑制噪声增强的幅值, 但不能平滑噪声. 因此, 有必要研究基于Gamma校正图的低光照图像噪声平滑方法, 从Gamma校正图感知低光照图像的噪声区域, 进而在低光照图像的不同区域施以不同的滤波强度实现细节保持的噪声平滑结果.

作者简介

何磊

湖南科技大学信息与电气工程学院讲师. 2017年和2023年分别获得山东大学学士学位和中南大学博士学位. 主要研究方向为视觉检测, 图像处理和深度学习. E-mail: helei_xb@hnust.edu.cn

易遵辉

湖南科技大学信息与电气工程学院讲师. 2017年和2023年分别获得山东大学学士学位和中南大学博士学位. 主要研究方向为光学成像, 图像处理和视觉检测. 本文通信作者. E-mail: yizunhui@hnust.edu.cn

谢永芳

中南大学自动化学院教授. 1999年获得中南工业大学博士学位. 主要研究方向为分散控制与鲁棒控 制, 过程控制, 工业大数据和知识自动化. E-mail: yfxie@csu.edu.cn

陈超洋

湖南科技大学信息与电气工程学院教授. 2014年获得华中科技大学博士学位. 主要研究方向为群机器人系统协同控制, 复杂网络研究. E-mail: ouzk@163.com

卢明

湖南科技大学信息与电气工程学院教授. 2014年获得中南大学博士学位. 主要研究方向为流程工业工况识别与智能优化控制, 机器视觉与智能机器人. E-mail: mlu@hnust.edu.cn