原文名：On the Removal of Shadows from Images

发表于：IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 28, NO. 1, JANUARY 2006

摘要：本文致力于无阴影影像表达的拓展。首先，我们采用一定的光照和相机假设，导出一维灰度影像，该影像的各像素具有光照不变性。我们将这个无阴影影像作为结果。然后将这种一维表达扩展到二维，即色品表达。在二维表达中，可以以同样的方法点亮所有的像素，导出无阴影的二维影像。最后，通过识别阴影边缘（需要二维表达），我们可以恢复出三维全彩色的无阴影影像。我们通过图像边缘修复去除原始影像中的阴影边缘，重建出阈值边界图，最终导出了广受欢迎的三维无阴影影像。

关键词：阴影去除，光照不变性，重新整合

1. 绪论（未完待续）

   对于任何视觉系统而言，区分图像表面不同或场景光照不同引起的图像变化都是一个重要而基础性的任务。光与地表的交互是复杂的，使影像中产生了很多不需要的东西。比如遮蔽、阴影、镜面反射或者相互反射，或者由于光照亮度或色彩的局部变化导致的变化都使得基础的视觉任务（如图像分割[1]，目标识别[2]，追踪[3]）难以实现。我们需要将光照效应与反射率分开考虑，这一点的重要性我们早就知道。Barrow和Tenenbaum[4]提出了“本征影像”的概念来表达将影像分解为反射率变化和光照变化两个部分的想法。

   Barrow和Tenenbaum提出的本征影像生成方法是建立在简单的图像构造模型上。而普遍意义上，从复杂的影像构造本质上来讲，恢复本征影像是一个病态问题。最近，Weiss[5]提出了一个方法，是在不同光照条件下的序列影像中导出本征反射率影像。使用多张图像使得该问题可解，但也是该方法的应用有着较多的限制。Land[6]和[7-10]提出的Retinex and Lightness算法也可以看做是在一定限制场景假设下导出本征影像的尝试。尤其是这些算法都建立在场景是均一反射率的图块棋盘式分布的二维平面的前提下。另外，场景的光照亮度被假设为变化非常缓慢或居然是个常数。这些条件下，有可能区分出反射率不同和光照不同产生的变化，并把第二个不同析出，得到本征反射率图像，或叫做明度图像。

   估算或说明场景光照的色彩已经引起了很多学者的关注[11-20]。在本文正文中，我们的焦点不是导出本征反射率图像，而是获取场景在某个标准光照下的渲染效果。通常，这些色彩恒常性算法都是在建立在明度算法的限制条件下的，忽略了镜面反射、遮蔽、阴影等因素。一个与之不同的方法叫做光照不变性方法[21-27]。光照不变性方法没有对场景光照的色彩进行估计，相反，它们希望可以简单的去除图像的光照影响。通过对图像值进行一些代数变换，导出不变的量，得到变化光照下的常数部分。文献中对导出一种或多种光照色彩、光照亮度、遮蔽或镜面反射不变的量都有提及。

（to be continue）

2. 一维无阴影影像

   我们来简要回顾一下如何推导出一维无阴影影像。我们总结了[28]中的三传感器相机的分析，请注意同样的分析方法在多于三传感器的相机中依然适用，可以用于解释影像处理中的一些其他人工地物（[32]中采用的就是四传感器相机，结果表明其可以去除镜面反射(specularities)）。我们采用[33]中的朗伯体模型，因此，光谱功率分布（SPD）为 $E(\lambda ,x,y)$ 的光线入射表面反射函数为 $S(\lambda ,x,y)$ 的表面时相机传感器的响应为：

$p_{k}(x,y)=\sigma(x,y)\int E(\lambda ,x,y)S(\lambda ,x,y)Q_{k}(\sigma)d\lambda$  (1)

其中 $Q_{k}(\lambda)$ 指第k个相机传感器的光谱敏感性，k=1,2,3， $\sigma(x,y)$ 是常数因子，表示给定像素的朗伯体遮蔽项——表面法向量与光照方向的点乘。我们规定某像素三个一组的相机响应值以如下形式表示：

$\rho (x,y)[\rho_{1} (x,y),\rho_{2} (x,y),\rho_{3} (x,y)]^{T}$ 。

   给出(1)，要推导出各个像素一维光照不变量（即无阴影）表达只需遵循以下两个假设：首先，相机传感器必须是准确的狄拉克delta函数 $Q_{k}(\lambda)=q_{k}\delta(\lambda -\lambda _{k})$ 。这样，式(1)可简化为：

$\rho_{k}=\sigma E(\lambda_{k})S(\lambda_{k})q_{k}$  (2)

这里我们暂不考虑 $\rho_{k}$ 对空间位置的依赖性。采用普朗克光照，更确切的说是普朗克定律的Wien近似，SPD可以由色温T参数化：

$E(\lambda,T)=Ic_{1}\lambda^{-5}e^{-\frac{c_{2}}{T\lambda}}$   （3）

其中c₁，c₂为常数，I是控制整个光亮度的变量。这个近似在典型光照T∈[2500,10000]⁰K的范围内有效。在这一近似下，传感器对给定表面的响应值可以表示为：

$\rho _{k}=\sigma Ic_{1}\lambda_{k}^{-5}e^{-\frac{c_{2}}{T\lambda_{k}}}S(\lambda_{k})q_{k}$  (4)

现在，我们构建了色相 $\chi$ 的两矢量波段比：

$\chi _{j}=\frac{\rho_{k}}{\rho_{p}},k={1,2,3},k\neq p,j=1,2$  （5）

对于RGB影像，p=2就是 $\rho_{p}$ =G， $\chi$ ₁=R/G， $\chi$ ₂=B/G。用(4)中的 $\rho_{k}$ 代入(5)中，我们得到了构建的去除了亮度和遮蔽信息的色相坐标：

$\chi _{j}=\frac{\lambda_{k}^{-5}e^{-\frac{c_{2}}{T\lambda_{k}}}S(\lambda_{k})q_{k}}{\lambda_{p}^{-5}e^{-\frac{c_{2}}{T\lambda_{p}}}S(\lambda_{p})q_{p}}$   （6）

构建 $\chi$ 的对数 $\chi$ '，得：

$\chi _{j}'=log\chi _{j}=log(\frac{s_{k}}{s_{p}})+\frac{1}{T}(e_{k}-e_{p}),j=1,2$   (7)

其中， $s_{k}\equiv \lambda_{k}^{-5}S(\lambda_{k})q_{k},e_{k}\equiv -c_{2}/\lambda_{k}$ 。

   总结式(7)为矢量形式，得到：

$\chi'=s+\frac{1}{T}e$   (8)

其中s为依赖于表面和相机，独立于光照的两矢量，e为独立于表面，依赖于相机的两个矢量。给出这个表达，就可以看到随着光照颜色变化（T变化），给定表面的log色相矢量 $\chi$ '沿着一条直线移动。更重要的是，线的方向由相机属性决定，独立于表面和光照。

如果我们可以决定光照变量的方向（向量e），就可以通过将log色相矢量 $\chi$ '投影到一个正交于e的方向上（也就是e^⊥）来得到一个一维光照不变表达。从而，光照不变表达可以以一个灰度图像I 的形式给出：

$\textit{I}'=\chi '^{T}e^{\perp },\textit{I}=exp(\textit{I}')$   （9）

不失一般性，我们假设 $\left \| e^{\perp } \right \|=1$ 。图1a表明我们所述的过程。图中展示了4个不同表面的log色相（open circles？）在一定范围内的普朗克光照下de完美窄波段传感器拍摄的结果。很明显，每个表面的结果就随着色相空间中的一条线下滑（图中为点线）。这些线的方向为e，与e正交的方向如图1a中的实线所示。每个给定表面的log色相都沿着直线投影为一个无关光照的点。这些点代表（9）中定义的光照无关属性I'。

图1 (a)理想相机和普朗克光照的一维光照无关表达(b)典型数码静止相机的光谱敏感性(c)由(b)敏感性和一组日照光计算的log色相

   请注意，为了去除作为分母的颜色通道的偏差，可以用几何平均数 $\rho _{M}=\sqrt[3]{RGB}$ 替代（5）中的特殊量 $\rho_{p}$ ，这不改变直线的依赖性。log颜色比率就存在于一个正交于 $u=(1,1,1)^{T}$ 的三空间，构成图1a中的直线[35]。

   我们在非常限制的条件下推导出了一维光照无关表达（相机的条件可以放宽到宽波段的传感器和一些对反射比的条件限制[36]）,这样就可以问：应用中这个方法是不是普遍适用呢？为了回答这个问题，我们首先要计算每个相机的正交投影方向。有很多方法可以解决，但最简单的就是在n种光线下拍摄一组参考平面（我们用Macbeth色彩检校表，它包括19个不同色相的表面）。每个表面产出n个沿直线下降的log色相。另外，色相直线会彼此平行。当然，由于真实光线是非普朗克光线，而相机敏感度也不是狄拉克delta函数，因此结果会有些偏离。图1b表明了典型的商业数码静止相机的光谱敏感性。图1c为利用这些敏感性函数、麦克白色彩检校表和一定范围内的日光照射计算出的log色相图的坐标。很明显，色相坐标不是沿着一条直线下滑的。尽管如此，他们还是表现为近线性的状态，我们可以用数据的最小二乘结果来得到n组平行线[28]。一旦知道了我们相机的正交投影方向，就可以计算任意图像的log色相值了。方法的实验设计为得到的不变属性I能否表现出真正的光照无关。

   图2为图1b中敏感度的相机（没有进行任何后处理，只返回线性输出）所拍摄的图像。图2a为相机采集的彩色影像（出于显示目的，图像被投影为sRGB[37]色彩空间），阴影非常明显。图2b和2c为影像的log色彩表达。这里亮度和遮蔽都被去除了，而阴影依然清晰可见，高光表明阴影时光照在色彩上变化而不仅仅是亮度的变化。最终，图2d表明（9）定义的不变影像（图2b和图2c的函数）。可以看到本方法有着很好的光照无关性：无关影像中的阴影不见了。这张影像是本方法一个典型的处理结果。图5还有其他真实相机拍摄的示例（非窄波段传感器）。请注意这些例子中相机传感器未知，光照方向是由[35]中程序处理得到的。在所有例子中，阴影都被去除或较大幅度的减弱了。

   在其他工作[28]中，一维无关图就可以满足进行一定光照范围内的准确物体识别。这个工作中，无关图导出的直方图被作为一个识别特征，值得注意的是其识别性能比颜色恒常性方法要好。同时这里的影像是由一个绝非窄波段的相机拍摄的，光照也不是普朗克。[31]进行了一个有关相机传感器形状对不变性程度影响的调查。结果表明好的不变性采用的是半频带宽度为30nm的高斯传感器，而不变性的程度对传感器峰敏感性的位置敏感。这就表明传感器的形状宽度和不变性不是一个简单的关系，这样，传感器的适用性要通过相机的基础来决定。其他工作[39]表明可以找到一个3*3的给定传感器响应的线性变换，从而提高由变换传感器中导出的一维影像表达的光照不变性。另外，任何一个相机传感器都可以找到一个3*3的固定线性变换，将其传感器变换至更接近理想的窄波段传感器[40]。截至今日，我们还未发现我们的方法无法提供较好的一维光照无关图的相机传感器。

参考文献：

[28]G. Finlayson and S. Hordley, “Color Constancy at a Pixel,”J. Optical Soc. Am. A,vol. 18, no. 2, pp. 253-264, UK Patent application no. 0000682.5, under review, British Patent Office, 2001（部分译文参见Color Constancy at a Pixel）