刘晓波
（三峡大学计算机与信息学院，湖北 宜昌 443002）
【摘要】光照问题是人脸识别面临的一项巨大的挑战，它在很大程度上影响了人脸识别系统的性能。而为了解决它，人们提出了很多的解决方法。其中基于Retinex理论的图像预处理方法由于其简单高效性而备受关注。本文对比分析了几种经典的基于Retinex理论的光照预处理方法，并在“YaleB+Extended YaleB“人脸库上进行了验证试验。
教育期刊网 http://www.jyqkw.com
关键词 人脸识别；光照正则化；Retinex理论
【Abstract】Illumination variation is one of the challenges in face recognition, which can greatly affect the performance of face recognition systems. To solve the problem, various methods have been proposed. Because of the simpleness and high efficiency, the image illumination preprocessing methods based on the Retinex theory get much attention. In this paper, the comparison and analysis of several classical illumination preprocessing methods based on the Retinex theory, and the verification tests have been carried out on the “YaleB+Extended YaleB” face database.
【Key words】Face recognition; Illumination normalization; Retinex theory
0 引言
人脸识别经过40多年的发展，取得了丰厚的成果，但目前仍面临着光照、姿态、表情等诸多的挑战。人脸识别商用系统性能评测（Face Recognition Vendor Test，FRVT）[1]也指出光照因素是影响人脸识别系统性能的主要因素之一。目前关于光照问题的方法可以分为三大类：光照变化建模，光照预处理和提取光照不敏感特征。其中光照预处理方法由于其简单高效性而受到了研究者的青睐。光照预处理方法分又为基于传统图像处理方法和基于Retinex理论[2]方法两类。基于Retinex理论方法的基本思想是将人脸图像分解成光滑的光照分量和对光照不敏感的反射分量两部分，并使用反射分量来进行识别。其中基于Retinex理论经典的方法有单尺度Retinex方法 (Single Scale Retinex，SSR)[3]、多尺度Retinex方法(Multi Scale Retinex，MSR)[4]，自商图像方法(Self Quotient Image，SQI)[5]，全变分模型方法(Total Variation Model，TV)[6]，基于大小尺度特征方法(Small-and Large-scale features, S&L)[7]。
1 基于Retinex理论的光照预处理方法
1.1 Retinex理论
Retinex理论广泛的应用在人脸识别领域中，并用以去除光照的影响。根据Retinex理论，图像由光照分量和反射分量的乘积构成：
I(x,y)=R(x,y)·L(x,y)（1）
其中，I(x,y)为原图像，L(x,y)是光照分量，表示外界光源，R(x,y)是反射分量，代表了物体的内在特征，并且可以作为光照不变量进行人脸识别。
对（1）取对数有:
logI(x,y)=logR(x,y)+logL(x,y)（2）
因此有：
logR(x,y)=logI(x,y)-logL(x,y)（3）
由于对数变换不改变函数单调性，所以logR(x,y)和R(x,y)有相同的性质，可以作为光照不变量进行人脸识别。根据公式（3）可以知道，对数域反射分量logR(x,y)可由对数域人脸图像logI(x,y)减去对数域光照分量logL(x,y)得到。所以基于Retinex理论的人脸识别的关键在于logL(x,y)的估计。
但是，Retinex方法的低通滤波操作往往会使图像中灰度变化激烈的边缘区域产生灰度突变，并且使边缘变得模糊，从而影响人脸的识别。这也就是所谓的光晕现象。为了减少光晕现象，研究人员提出了一些不同的处理算法，下面将逐一进行介绍。
图1为光晕现象实例。左边为偏光照射下，在图像鼻子旁边形成投射阴影的人脸。右边为采用高斯低通滤波器的单尺度Retinex方法处理后的结果。处理后的图片投射阴影的边缘呈现明显的光晕现象。
1.2 多尺度Retinex
多尺度Retinex是单尺度Retinex的加权平均，它通过N个不同的高斯滤波器分N个不同大小的尺度对原图像进行处理，以减少“光晕”现象。它可以如下表示：
其中N为尺度个数，Gi(x,y)为高斯滤波器，wi为与第i个高斯滤波器相对应的加权系数，σi为标准偏差，它决定高斯滤波器的尺度；Ki为高斯滤波器归一化因子；*表示卷积操作，logR(x,y)即为光照正则化图像。
1.3 自商图像
图像I的自商图像定义为R=I/I=I/F*I，I为其I平滑的结果，F为滤波器。为了削弱“光晕”现象，自商图像采用加权高斯滤波器进行各向异性滤波来估计光照图像，该算法的具体步骤为：
1）选择n个高斯滤波器G1,G2,…,Gn，并计算图像I相应的权值w1,w2,…,wn然后用加权高斯滤波器wiGi与图像进行卷积得到平滑图像：
而为得到各向异性高斯滤波器，各个高斯滤波器的权值按下面的方式确定：
其中Ni为归一化因子；Ω是卷积核大小。根据阈值τ将卷积区域分为两个子区域M1、M2，根据下面的式子计算τ，Mean为均值操作：
τ=Mean(IΩ)（8）
对于M1、M2两个子区域，假定M1中的像素点比M2中多，w1有相应的权值：
这个各向异性滤波器的本质是只平滑卷积区域的主要部分（即在边缘区域，仅对包含更多的区域M1求卷积），因此将显著降低光晕效应。
1.4 全变分模型
全变分模型是一种经典的图像恢复方法。在图像处理中主要用于从观测图像中恢复出真实图像，具有模型简单，需要优化的参数少的特点。与此同时，利用全变分模型进行图像平滑具有良好的边缘保持特性，也就是对图像平滑的同时可以保持图像的细节信息。下面我们利用全变分模型的这些特点进行光照估计：
1.5 基于大小尺度特征方法
一般的Retinex的方法都是舍弃光照分量，直接用反射分量进行人脸识别的。而基于大小尺度特征方法认为光照分量里仍然包含了一部分的人脸结构信息，可以加以利用，加强人脸识别的效果。所以该方法通过结合反射分量和经过处理后的光照分量来提升光照预处理的效果。
该方法根据Retinex模型提出来一个改进的模型。
I(x,y)=R(x,y)L(x,y)
=(R(x,y)/Rl(x,y))(Rl(x,y)L(x,y))（14）
=ρ(x,y)S(x,y)
其中Rl表示大范围的肤色区域与背景直接的比率。ρ(x,y)只包含图像的小尺度特征，而S(x,y)不仅包含光照、投射阴影同时还包含大尺度固有的人脸结构信息。ρ(x,y)和S(x,y)的求解则采用对数域全变分模型的方法。
根据基于大小尺度特征方法的思想，光照消除只在大尺度特征S(x,y)上进行处理，同时保持小尺度特征ρ(x,y)不变。从而可以得到最终的正常光照人脸Inorm(x,y)，用来进行人脸识别。它表示如式（15）。
Inorm(x,y)=ρ(x,y)Snorm(x,y)（15）
其中Inorm(x,y)为得到的正常人脸，用以进行光照不变人脸识别。Snorm(x,y)表示消除光照后的大尺度特征。它是通过对S(x,y)去除光照得到的，表示如式（16）。
Snorm(x,y)=T(S(x,y))（16）
其中T采取的方法是对数域离散余弦变换方法[8]，通过舍弃对数域离散变换结果的低频部分来去除光照的影响。
2 实验结果与分析
本实验从光晕消除效果和识别率两方面对以上基于Retinex的4种光照正则化的方法进行比较。
图2显示了MSR、SQI、LTV、S&L这4种方法消除光晕现象的效果，其中(a)为原始图像，(b)、(c)、(d)和(e)分别为MSR、SQI、LTV、S&L处理的结果。原始人脸图像鼻子左侧有明显的投射阴影，经过光照正则化处理后会产生光晕现象，红色框中框出了光晕现象最明显的区域。从图中可以看出，LTV消除光晕现象的效果最好，很大程度上削弱了内部投射阴影。
为了验证各光照预处理方法的有效性，我们在“Yale B+Extend Yale B”人脸库上进行了对比实验。由于YaleB和Extended YaleB人脸库的形成条件完全一样，故放在一起进行实验。并且由于本实验只对光照问题进行研究，实验的数据也只采用不同光照下的正面图像，不考虑姿态等因素对实验的影响。识别方法则采用模板匹配方法，未选用本身对光照具有一定鲁棒性的识别方法。最后用余弦角度距离来衡量人脸图像之间的相似度和最近邻分类法进行分类。
实验中各种方法的参数设置如表1所示，该表中k表示高斯窗口的大小，lambda表示LTV中的正则化参数，discardNr代表舍去离散余弦矩阵系数的个数。
表2给出了“Yale B+Extended Yale B”人脸库上的识别结果。从整体上来看，SQI识别率最高，具有最好的光照预处理效果，而S&L排在其次，后面依次为LTV、MSR。而SQI对比未经光照处理的方法，它可以提高52.31%的识别率，极大的去除光照变化对人脸识别的影响。并且SQI在子集三、四、五上都达到了最高的识别率。说明SQI方法更能处理剧烈变化的光照。在子集一上，各光照预处理方法都比未经光照预处理方法的识别率要低。说明了在光照条件理想的情况下，光照预处理反而会给人脸识别带来负面的影响。而这几种方法中LTV的负面影响最小，更能适应光照理想的的情况。结合光晕处理效果和识别率结果可以发现，光晕处理效果好的LTV方法识别率并不是最高的。可以说明LTV在去除光晕现象的同时较大程度的削弱了人脸的固有特征，降低了人脸识别率。而SQI方法的光晕现象比较明显，但是该方法加强了人脸的固有特征，从而提高了人脸识别率。所以光照预处理方法在去除阴影和保留特征方面需要达到一个平衡，这样才能更大程度上提高人脸识别率。
3 结语
本文通过试验对比分析MSR，SQI，LTV以及S&L这4种基于Retinex理论的光照预处理方法，结果发现LTV最能有效的削弱光晕现象，SQI最能提高人脸识别率。说明了光照预处理方法在去除阴影和保留特征方面需要达到一个平衡。只关注阴影去除并不能很好的提高人脸识别率。而从子集一的结果可以知道，光照条件理想时，光照预处理对人脸识别有负面影响，后续的研究可以考虑避免光照预处理负面影响的方法。
教育期刊网 http://www.jyqkw.com
参考文献
［1］Phillips P J, Scruggs W T, O´Toole A J. FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5):831-846.
［2］Land E H, Mccann J. J. Lightness and Retinex theory [J]. Journal of the Optical Society of America, 1971,61(1):1-11.
［3］Jobson D J, Rahman Z U, Woodell G A. Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.
［4］Jobson D J, Rahman Z, Woodel G. A.. A multiscale Retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE Transaction on Image Processing, 1997, 6(7):965-976.
［5］王海涛,刘俊,王阳生.自商图像[J].计算机工程,2005,31(18):178-215.
［6］Chen T, Yin W, Zhou X, Comaniciu D, Huang T S. Total variation models for variable lighting face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006,28(9):1519-1524.
［7］Xie X, Zheng W S, Lai J. Normalization of face illumination based on large-and small-scale features [J]. IEEE Transactions on Image Processing,2011,20(7):1807-1821.
［8］Chen W, Er M J, Wu S. Illumination compensation and normalization for robust face recognition using discrete cosine transform in logarithm domain [J]. IEEE Transaction System, Man, and Cybernetics-Part B, 2006, 36(2):458-466.
［责任编辑：汤静］