原文名：Shadow detection: A survey and comparative evaluation of recent methods

发表于：Pattern Recognition 45 (2012) 1684–1695

英语：文笔通俗易懂，公式内容少。

阴影检测：综述及近期方法对比

Andres Sanin^a,b, Conrad Sanderson^a,b, Brian C. Lovell^a,b

a 澳大利亚NICTA, PO Box 6020, St Lucia, QLD 4067

b 澳大利亚昆士兰大学, School of ITEE, QLD 4072

摘要

本文对近期去除阴影的技术进行了综述和评价对比。阴影去除是目标探测、追踪的决定性一步。本文综述了近十年的方法，并基于特征分为四类：色相、物理、几何和纹理。挑选的评价标准主要是阴影检测、辨别率(discrimination rates)和颜色去饱和(colour desaturation)的定量、定性观察。另外，我们选用追踪表现作为评定阴影检测方法实用性的无偏方法。

评估结果表明所有的阴影检测方法都有着各自的用途，都有着优点和缺陷。在选择的方法中，几何方法有着严格的假设，对于多变环境适应性差，但其对于有着多个方向阴影的简单易建模目标是一个最直观的选择。色度方法是最快速的方法，但其对于噪音和低敏感度场景较为敏感。物理方法采用局部阴影模型可有效提高色相方法的准确度，但当目标与背景光谱信息接近时会失败。小区域的纹理方法对于周围是纹理的像素非常稳健，但耗时较长。大区域问题方法结果最精确，但其步骤较多，有着巨大的计算量。

2 检测移动阴影

。。。

2.1 阴影检测的有用特征

。。。

2.1.1 亮度(Intensity)

  阴影检测最简单的假设就是阴影区域由于没有直射光源照射，因此较暗。但是由于有环境光，到底可以变多暗是个问题。这些假设可以用来评估阴影区域亮度衰减的范围，作为排除非阴影区域的第一步[12,13,17,42,48]。但没有方法是主要依赖亮度信息来区别阴影和目标的。

2.1.2 色度(Chromacity)

[译者注：怀疑作者写错，应为Chromaticity，本文单词为纯度]

  很多基于光谱特征的阴影检测方法都使用了色彩信息。他们假设阴影区域变暗但是色度保持不变。色度是独立于亮度的一种颜色量测。比如说，一个绿像素在阴影中会变为暗绿色，比绿色颜色深，但仍属于同一个色度。亮度衰减，色度不变的颜色模型通常为颜色恒常性[11]或线性衰减[13]模型。采用这些模型的方法往往选择能够更好区分色度和亮度的颜色空间或他们的组合[41]来替代RGB空间（如：HSV[7], c1c2c3[36], YUV[6], 归一化RGB[4]）。这些方法大多易于实现而且计算量较小。但由于是在像素级做比较，容易受到噪声的影响[31]。对强光照敏感，且在阴影较为严重的情况下会失败[24]。

2.1.3 物理属性

  线性衰减模型假设光源是纯净白光[24]，但事实往往并非如此。室外的主要光源是太阳（白光）和天空反射光（蓝光）。一般来说，来自太阳的白光占据主导地位。但当太阳光被遮挡时，天空光的成分就增加了，把阴影区域里的色度向蓝色成分平移。Nadimi和Bhanu[24]提出一个考虑到光源的两色模型，更好的预计了阴影区域的颜色变化。后续工作增加了更多的通用非线性衰减模型来模拟室内外的光照条件[13,21]。另外，一些方法没有明确提出衰减模型，而是通过学习阴影区每个像素的表征来解决这个非线性的衰减问题[15,18,20,30]。这些尝试建模或学习阴影像素表征的方法都归为物理方法。通过学习或建模特殊场景，这些方法获得了较色度方法更加准确的结果（直接比较见[15,18]）。然而，由于光谱属性的限制，它们的主要缺点就是无法处理背景和目标色度相似的情况[13]。

2.1.4 几何

 理论上，已知光源、目标形状、和地面平面的先验知识，就可以预测出阴影的方向、大小，甚至于形状。一些方法利用这个信息来区分阴影和目标[5,8,12,27,47]。几何方法的优点在于其直接作用于输入帧，不依赖于背景估计的准确性。但几何方法也受到一些限制：特定目标类型，如行人（即直立人）[5,12]或车辆[8,47]；要求目标和阴影的方向不同[5,12]；假定光源唯一[27]或平坦的背景面[8]等。现有的几何方法都不能解决多阴影目标([12]除外）或多目标被检测为一个单一的前景大目标的情况。

2.1.5 纹理

  一些方法利用的是阴影区域仍保留大部分纹理的特点。基于纹理的阴影检测方法多分为两步：1.选择阴影像素或区域的候选区，2.基于纹理相关将候选区分类为前景或阴影。阴影候选区的选择是靠一个基于光谱特征的弱阴影检测器。然后，通过帧纹理与背景参考纹理的相关性，将阴影候选区分类为目标或阴影。如果候选区的纹理和帧、背景都相似，就分类为阴影。有很多方法采用很多技术来实现这个相关性（如归一化互关联[42]，梯度或边缘相关性[14,37,46]，正交变换[48]，马尔科夫或条件随机场[32,45]，Gabor滤波[17]）。在纹理信息高度可区分时，基于纹理的阴影检测方法是一个可能的强有力的方法，它不依赖于颜色，并且对于光照变化鲁棒。但是纹理方法往往较慢，因为它要计算每个像素周围的一个或多个像素的对比。

2.1.6 时间特征

  由于阴影和投影目标有着相同的移动特征，应用于目标的时间一致性滤波器同样可以应用于阴影[4, 18, 24, 27]。这个滤波通过保留那些具有时间一致性的像素可增强检测结果。然而，和亮度特性一样，没有方法是主要依赖于这项特性进行阴影检测的。

参考文献：

[4] A. Cavallaro, E. Salvador, T. Ebrahimi, Shadow-aware object-based video processing, IEE Proceedings on Vision, Image and Signal Processing 152 (4) (2005) 398–406.

[5] C.-C. Chen, J. Aggarwal, Human shadow removal with unknown light source, in: International Conference on Pattern Recognition, 2010, pp. 2407–2410.

[6] C.-T. Chen, C.-Y. Su, W.-C. Kao, An enhanced segmentation on vision-based shadow removal for vehicle detection, in: International Conference on Green Circuits and Systems, 2010, pp. 679–682.

[7] R. Cucchiara, C. Grana, M. Piccardi, A. Prati, Detecting moving objects, ghosts, and shadows in video streams, IEEE Transactions on Pattern Analysis and Machine Intelligence 25 (10) (2003) 1337–1342.

[8] L.Z. Fang, W.Y. Qiong, Y.Z. Sheng, A method to segment moving vehicle cast shadow based on wavelet transform, Pattern Recognition Letters 29 (16) (2008) 2182–2188

[11] T. Horprasert, D. Harwood, L. Davis, A statistical approach for real-time robust background subtraction and shadow detection, in: IEEE ICCV’99 Frame-Rate Workshop, 1999.

[12] J.-W. Hsieh, W.-F. Hu, C.-J. Chang, Y.-S. Chen, Shadow elimination for effective moving object detection by Gaussian shadow modeling, Image and Vision Computing 21 (6) (2003) 505–516.

[13] J.-B. Huang, C.-S. Chen, Moving cast shadow detection using physics-based features, in: IEEE Conference on Computer Vision and Pattern Recognition, 2009, pp. 2310–2317.

[15] A. Joshi, N. Papanikolopoulos, Learning to detect moving shadows in dynamic environments, IEEE Transactions on Pattern Analysis and Machine Intelligence 30 (11) (2008) 2055–2063.

[17] A. Leone, C. Distante, Shadow detection for moving objects based on texture analysis, Pattern Recognition 40 (4) (2007) 1222–1233.

[18] Z. Liu, K. Huang, T. Tan, L. Wang, Cast shadow removal combining local and global features, in: IEEE Conference on Computer Vision and Pattern Recognition, 2007, pp. 1–8

[20] N. Martel-Brisson, A. Zaccarin, Learning and removing cast shadows through a multidistribution approach, IEEE Transactions on Pattern Analysis and Machine Intelligence 29 (7) (2007) 1133–1146.

[21] N. Martel-Brisson, A. Zaccarin, Kernel-based learning of cast shadows from a physical model of light sources and surfaces for low-level segmentation, in: IEEE Conference on Computer Vision and Pattern Recognition, 2008, pp. 1–8.

[24] S. Nadimi, B. Bhanu, Physical models for moving shadow and object detection in video, IEEE Transactions on Pattern Analysis and Machine Intelligence 26 (8) (2004) 1079–1087

[27] H. Nicolas, J.-M. Pinel, Joint moving cast shadows segmentation and light source detection in video sequences, Signal Processing: Image Communication 21 (1) (2006) 22–43

[30] F. Porikli, J. Thornton, Shadow flow: a recursive method to learn moving cast shadows, Tenth IEEE International Conference on Computer Vision, vol. 1, 2005, pp. 891–898.

[31] A. Prati, I. Mikic, M. Trivedi, R. Cucchiara, Detecting moving shadows: algorithms and evaluation, IEEE Transactions on Pattern Analysis and Machine Intelligence 25 (7) (2003) 918–923

[36] E. Salvador, A. Cavallaro, T. Ebrahimi, Cast shadow segmentation using invariant color features, Computer Vision and Image Understanding 95 (2) (2004) 238–259.

[41] B. Sun, S. Li, Moving cast shadow detection of vehicle using combined color models, in: Chinese Conference on Pattern Recognition, 2010, pp. 1–5.

[42] Y.-L. Tian, M. Lu, A. Hampapur, Robust and efficient foreground analysis for real-time video surveillance, IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, 2005, pp. 1182–1187.

[47] A. Yoneyama, C. Yeh, C. Kuo, Moving cast shadow elimination for robust vehicle extraction based on 2d joint vehicle/shadow models, in: IEEE Conference on Advanced Video and Signal Based Surveillance, 2003, pp. 229–236

[48] W. Zhang, X.Z. Fang, Y. Xu, Detection of moving cast shadows using image orthogonal transform, International Conference on Pattern Recognition, vol.1, 2006, pp. 626–629