贾明兴¹, 杜俊强¹, 宋鹏飞¹, 田澍²
1.东北大学 信息科学与工程学院， 辽宁 沈阳 110819;
2.东北大学 软件学院， 辽宁 沈阳 110169
收稿日期: 2015-10-12
基金项目: 国家科技支撑计划项目(2013BAK02B01); 辽宁省科技计划项目(2013231025)。
作者简介: 贾明兴(1972-),男,辽宁凌源人,东北大学教授。

摘要: 针对光照、姿态、表情等复杂情形下人脸识别率较低的问题，提出基于不同分块多特征优化融合的人脸识别方法.首先考虑了局部二值模式、局部相位量化特征和小波变换特征.进一步，考虑单一分块算法会使分割线周边信息不能完整提取，从而丢失对人脸识别的有用特征，提出了人脸灰度图像多重分块的方法.最后，采用遗传算法对不同分块多特征进行权值寻优，得到最优权值.在大规模人脸数据集FRGC2.0数据库上进行实验四验证，验证率达到95.31%(FAR0.1%)，首选识别率为99.06%，相比于前期文献，该算法能多方位提取人脸特征信息，提高人脸识别率，且所用特征较少.
关键词：LBPLPQGabor最优权值多重分块人脸识别
Face Recognition Based on Multi-feature Optimization Fusion of LBP, LPQ and Gabor with Multi-scale Blocks
JIA Ming-xing¹, DU Jun-qiang¹, SONG Peng-fe¹, TIAN Shu²
1.School of Information Science & Engineering, Northeastern University, Shenyang 110819, China;
2.School of Software, Northeastern University, Shenyang 110169, China
Corresponding author: JIA Ming-xing, professor. E-mail:jiamingxing@ise.neu.edu.cn
Abstract: There is still a problem of low recognition rate in face recognition when dealing with complex situations such as illumination, pose and facial expression, so a face recognition method based on multi-feature optimization fusion with multi-scale blocks was proposed. Three complementary characters were considered as the features needed, such as local binary pattern(LBP), the local phase quantization(LPQ) and wavelet transform. Further, a method of multi-scale blocks of face grayscale image was proposed to consider that the single block algorithm made the surrounding information not be fully extracted and thereby lost useful features for face recognition. Finally, genetic algorithm was used to optimize the weights of multi-feature of multi-scale blocks, and the optimal weights could be obtained. Experiment 4 with this method was tested on the basis of large scale face data set FRGC2.0 database, and the validation rate of the method reached 95.31%, with recognition rate reaching 99.06%. Compared to the previous literature, this algorithm can extract more feature information of human face, and improve the face recognition rate.
Key Words: LBP(local binary pattern)LPQ(local phase quantization)Gaboroptimal weightmulti-scale blocksface recognition
近年来，为了应对光照、遮挡、姿态或背景条件的变化对人脸识别性能的影响，用局部模式来表征人脸识别的方法成为研究热点.旋转、平移、光照和方向的变化对于局部的影响较小，因此局部特征与全局特征相比具有更好的稳定性.
人脸纹理结构特征与灰度特征相比对外界条件变化不敏感.经过多年研究，目前典型的纹理特征描述方法主要包括LPQ和LBP及其变体算法^[1-2].LPQ(local phase quantization)是文献[3]提出的一种局部特征提取算法，其对模糊变换不敏感，已成功应用于纹理检索和人脸识别领域.LBP(local binary patten)运算速度快、容易实现并且对光照具有很强的鲁棒性，且具有旋转不变性和灰度不变性等显著优点.另一种典型的局部特征表征是Gabor小波，可对多方向多尺度的局部特征进行提取^[4].单一特征描述对于图像只能提供有限信息，因此合理结合不同的特征信息会更有效.最近不同描述子的融合引起了很大关注，例如全局和局部描述子融合^[5-6]、多尺度特征提取^[7]、不同频率融合^[8]、LBP和Gabor融合^[9]，Gabor幅相特征融合^[10].在人脸特征融合过程中，特征维数通常比较高，因此通常采用降维技术，在保证识别性能不变的情况下得到低维特征，使分类问题得以简化^[11].文献[12]采用FLDA(fisher linear discriminant analysis)的方法来解决这个问题.另外，针对传统LDA提取的判别方向个数限制问题，文献[13]给出了解决方案.
其中文献[14]将目标集、查询集中图像裁剪为纯脸图像和整个头像图像两部分，对每部分分别采取RTF(retinal texture feature)和RCF(retinal color feature)进行特征提取，再用IRDM(incremental robust discriminant model)对特征降维分类;最后对两部分图像(纯脸图像和整个头像图像)进行特征融合，利用最邻近分类器方法进行识别，最终得到在错误接受率为0.1%时验证率为93.91%.文献[15]对目标集、查询集中图像裁剪为大、中、小三部分图像，对每部分分别采取Gabor得幅值特征信息和LPQ得相位特征信息；再用FLDA对特征降维分类，对两种特征进行融合，最后对三部分(大、中、小)图像进行特征融合，得到最终目标集和查询集的相似度矩阵；利用最邻近分类器方法进行识别，最终得到在错误接受率为0.1%时验证率为95.15%.弹性匹配方法也被广泛关注，取得了不错的效果^[16-18]，但这些方法较复杂.另外，深度学习^[19]方法也取得了不错的效果，但依赖于巨量训练样本和超算能力.
借鉴文献[20]的工作，本文提出了LBP，LPQ，Gabor及不同分块多种特征融合寻优加权与FLDA 进行人脸表示，结合最临近分类的方法进行人脸识别，为证明提出方法的有效性，在大规模人脸数据集 FRGC2.0的实验四中进行测试.
1 算法介绍1.1 LBP原理局部二值模式算法最初主要对数据图像进行纹理描述.其原理是确定中心像素，周围像素值与其比较进行二值化，LBP算子采用大小3×3方形区域，像素的灰度级256(8bit).Ojala等研究提出降低维数且有利于分类识别的统一模式LBP纹理描述方法为

(1)

1.2 LPQ原理LPQ可以有效描述图像纹理特征，对图像具有模糊不变性.令x=[x₁, x₂]^T表示图像f(x)的像素点，LPQ特征可由式(2)计算：

(2)

二值化得到一个8位的二进制串，转化成整数得到LPQ特征为

(3)

1.3 Gabor小波原理Gabor是一种时频窗都可变的局部化分析方法，其二维Gabor表达式为

(4)

式中：z=(x, y)为位置坐标；‖.‖是取范数运算；小波向量定义为
式中：f是间隔因子；μ和ν分别指方向和尺度因子.用Gabor方法提取一幅图像的特征只需要把Gabor函数族和图像进行卷积就可以了.
1.4 FLDA方法FLDA方法是先采用主成分分析将高维数据降维，将模式特征从原N维降到r维空间后，再采用标准的Fisher线性判别法得到原样本的最优特征表示，使样本具有更好的分类性能.
设训练样本集中包含N幅人脸图像{x₁, x₂, …, x_N}，每一幅人脸图像构成一个特征样本，用n维向量x_j表示；样本共分为c类，其中ω₁类有N₁个样本，ω₂类有N₂个样本，则利用训练样本的类内散度矩阵S_W和类间散度矩阵S_B可得到线性判别准则函数J定义为

(5)

1.5 多重分块方法在提取人脸LBP，LPQ特征时，直方图统计时是分块处理的.单一的分块的分割线往往会把人脸重要区域(如眼睛、嘴巴等)分隔，这样会造成关键部位有效特征不能完整描述.为此提出了“多重分块”的方法，弥补分割线边缘的特征信息.
首先对图像进行5×2大块分割，然后对每大块进行3×6小块分割.对每一小块(共180块)LBP，LPQ特征进行统计；再对图像进行4×2大块分割，然后对每块进行3×5小块分割，对每一小块(共120块)LBP，LPQ特征进行统计，得到两种分块图像的LBP和LPQ特征序列LBPHS，LPQHS.
对于Gabor算法，由于数据量较大，对裁剪后的图片(像素大小120×96)进行4×4下采样得到降维图片(像素大小30×24)，对得到的新图像进行3×3分块，而不进行小块划分和多重分块.
1.6 基于遗传算法的多特征融合基于特征融合的算法实际上是借鉴人脑处理问题的方式，同时获得图像的多方面信息，将其在时空上的冗余或互补信息进行优化组合，最终获得综合信息对1张图像进行判定.为此，本文引入智能优化方法——遗传算法来寻找不同算法的最优权值，从而建立它们之间的联系，得到最终的相似度矩阵.
为了观察特征提取算法的分类能力，查询库的人脸图像与目标库的人脸图像之间的相似性选择欧式距离作为度量.
假设通过1.5节中的特征提取算法得到的LBP两种分块方法、LPQ两种分块方法以及Gabor小波变换的相似度矩阵分别用A₁, A₂, …, A₅来表示，则对5种相似度矩阵进行加权融合后得到

(6)

其中：A_i为相似度矩阵；x_i为对应的权系数.
首选识别率的计算公式为

(7)

问题转化为求取系统最大识别率时的不同算法的权值，即：

(8)

由于待求取的目标函数为一定约束条件下的首选识别率的问题，为此，建立适应度函数为

(9)

其中∑x_i为所有权值之和.函数中的前一部分为系统的首选识别率，后一部分为对约束条件所加的惩罚项.从式(9)可以看出，在权系数和接近1时，系统的首选识别率越大，则对应的适应度值也越大；当权系数和距离1比较远时，后面的惩罚项对适应度值的影响比较大，使对应的适应度值明显变小，从而保证所有特征权值和在接近1的情况下，系统具有较大的识别率.
由于不同算法的权值为连续值，并且已知各个连续变量的范围为[x_min, x_max].在使用遗传算法求解不同权值时，需要根据[x_min, x_max]对连续变量进行编码：

(10)

式中，(b)₂是连续变量x_i对应的二进制编码.通过式(10)可以得到各个权值的二进制编码，并将它们串联起来组成一个染色体，如图 1所示.
图 1(Fig. 1)

图 1 染色体编码Fig.1 Chromosome encoding

本文实验取初始种群数为20，种群代数为300.另外，由于本文对连续变量采取的是二进制编码，所以遗传策略分别选取的是轮盘赌选、单点交叉和二进制变异.
2 实验与结果2.1 FRGC2.0数据集人脸识别大挑战(FRGC)是美国政府资助的大规模人脸识别评测.FRGC2.0评测采用了50000多个样本数据，分为训练集和确认集两类数据.FRGC数据集包含可控与不可控图像，在FRGC2.0评测设计的实验四中，训练集包含222个人的12776张图片，其中有6388张可控图片和6388张不可控图片；目标集包含16028张可控人脸图片；查询集包含8014张不可控图片^[13].
2.2 实验过程及技术要点对FRGC2.0数据集上选取训练集12776张图片，目标集16028张图片，查询集8014张图片进行人脸识别仿真实验，基本过程如下：
1) 对原始人脸样本图片进行人脸定位、人脸检测，裁剪为96×120像素大小图像，并归一化预处理；
2) 采用前文提到的LBP, LPQ, Gabor分块特征提取算法得到每张样本图像的统计直方图LBPHS, LPQHS和小波图像作为最终特征；
3) 将5种特征进行FLDA降维;
4) 采用遗传算法对特征权值寻优并归一化；
5) 采用χ²分类方法进行识别，计算识别率.
对LBP和LPQ特征提取得到的脸部特征及Gabor方法得到的特征如图 2和图 3所示.
图 2(Fig. 2)

图 2 LBP和LPQ提取的人脸特征图像Fig.2 Face feature images extracted by LBP and LPQ

图 3(Fig. 3)

图 3 Gabor方法得到的特征图像Fig.3 Feature image obtained by Gabor

实验提取特征过程如图 4所示.
图 4(Fig. 4)

图 4 LBP，LPQ，Gabor多特征融合过程Fig.4 Multi-feature fusion of LBP, LPQ, Gabor

2.3 实验结果分析本文对常用特征提取算法进行对比实验，结果见表 1.其中(10×18)代表先对图片按5×2分块，再按3×6分块，同理可知(8×15)含义.Gabor中(3×3)代表先进行4×4下采样，再分为3×3块，然后对每一块进行小波变换.表 1显示采用单一特征时Gabor效果最好，达到首选识别率98.48%，验证率93.17%；对LBP，LPQ采用两种分块方法融合特征时，性能较单一方法有较大改进；平均加权融合5种特征首选识别率和验证率有所提高，但不明显.
表 1(Table 1)

表 1 不同方法不同权值的首选识别率Table 1 Recognition rate of different methods and weights LBP 10×18 LBP 8×15 LPQ 10×18 LPQ 8×15 Gabor 3×3 首选 识别率 验证率 1 0 0 0 0 0.9573 0.9156 0 1 0 0 0 0.9456 0.8993 0 0 1 0 0 0.8948 0.8488 0 0 0 1 0 0.8723 0.8207 0 0 0 0 1 0.9848 0.9317 0.5 0.5 0 0 0 0.9713 0.9220 0 0 0.5 0.5 0 0.9355 0.8635 0.2 0.2 0.2 0.2 0.2 0.9875 0.9322 0.4903 0.0292 0.0306 0.0104 0.4394 0.9906 0.9531

表 1 不同方法不同权值的首选识别率 Table 1 Recognition rate of different methods and weights

表 1最后一行为解的情况.
图 5(Fig. 5)

图 5 识别ROC曲线Fig.5 Recognition of ROC graph

对应最佳权值的首选识别率为99.06%.为了进一步验证基于遗传算法寻优的人脸识别算法的有效性，计算了验证率和错误接受率.可知，当错误接受率为0.1%的情况下，系统的验证率为95.31%.
3 结论本文提出了基于LBP，LPQ和Gabor特征融合寻优加权的人脸识别算法.首先对图像进行不同分块，再进行LBP，LPQ和Gabor小波提取特征，将5种特征分别采用FLDA进行降维并计算相似度矩阵，对各相似度矩阵进行寻优加权并归一化，采用最近邻方法进行识别.算法在FRGC2.0实验四上验证，取得在错误接受率为0.1%时验证率为95.31%和99.06%的首选识别率.实验表明该算法结合三种不同局部特征的特点，采用寻优加权有很强的表示能力和鉴别能力，对光照、姿态也有很强的鲁棒性.
参考文献

[1]	Huang D, Shan C, Ardabilian M, et al. Local binary patterns and its application to facial image analysis:a survey[J].IEEE Transactions on Systems Man & Cybernetics Part C , 2011, 41(6): 765–781.
[2]	张洁玉, 赵鸿萍, 陈曙. 自适应阈值及加权局部二值模式的人脸识别[J].电子与信息学报, 2014(6): 1327–1333. ( Zhang Jie-yu, Zhao Hong-ping, Chen Shu. Face recognition based on weighted local binary pattern with adaptive threshold[J].Journal of Electronics & Information Technology , 2014(6): 1327–1333.)
[3]	Ojansivu V,Heikkil? J.Blur insensitive texture classification using local phase quantization[C]// Image and Signal Processing,International Conference.Cherbourg-Octeville,2008:236-243.
[4]	Zhang W, Shan S, Qing L, et al. Are Gabor phases really useless for face recognition?[J].Formal Pattern Analysis & Applications , 2009, 12(3): 301–307.
[5]	Su Y, Shan S, Chen X, et al. Hierarchical ensemble of global and local classifiers for face recognition[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society , 2009, 18(8): 1885–1896.DOI:10.1109/TIP.2009.2021737
[6]	Pu X,Wang Y.Face detection on partial and holistic LBP features[C]// International Conference on Electrical and Control Engineering.Yichang,2011:1071-1074.
[7]	Wei W, Huang F F, Li J W, et al. Face description and recognition using multi-scale LBP feature[J].Optics & Precision Engineering , 2008, 16(4): 696–705.
[8]	Hwang W,Park G,Lee J,et al.Multiple face model of hybrid fourier feature for large face image set[C]// IEEE Computer Society Conference on Computer Vision & Pattern Recognition.New York,2006:1574-1581.
[9]	Zhang W,Shan S,Gao W,et al.Local Gabor binary pattern histogram sequence (LGBPHS):a novel non-statistical model for face representation and recognition[C]// Tenth IEEE International Conference on Computer Vision.Beijing:IEEE Computer Society,2005:786-791.
[10]	Xie S, Shan S, Chen X, et al. Fusing local patterns of Gabor magnitude and phase for face recognition[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society , 2010, 19(5): 1349–1361.DOI:10.1109/TIP.2010.2041397
[11]	殷飞, 焦李成, 杨淑媛. 基于子空间类标传播和正则判别分析的单标记图像人脸识别[J].电子与信息学报, 2014(3): 610–616. ( Yin Fei, Jiao Li-cheng, Yang Shu-yuan. Subspace label propagation and regularized discriminant analysis based single labeled image person face recognition[J]. Journal of Electronics & Information Technology , 2014(3): 610–616.)
[12]	曹明明, 干宗良, 崔子冠, 等. 基于2D-PCA特征描述的非负权重邻域嵌入人脸超分辨率重建算法[J].电子与信息学报, 2015(4): 777–783. ( Cao Ming-ming, Gan Zong-liang, Cui Zi-guan, et al. Novel neighbor embedding face hallucination based on non-negative weights and 2D-PCA feature[J].Journal of Electronics & Information Technology , 2015(4): 777–783.)
[13]	Zhao C, Gao F. A nested-loop fisher discriminant analysis algorithm[J].Chemometrics & Intelligent Laboratory Systems , 2015, 146: 396–406.
[14]	Shan S,Zhang W,Su Y,et al.Ensemble of piecewise FDA based on spatial histograms of local (Gabor) binary patterns for face recognition[C]// IEEE Computer Society.Washington，2006:606-609.
[15]	Deng W, Hu J, Guo J, et al. Emulating biological strategies for uncontrolled face recognition[J].Pattern Recognition , 2010, 43(6): 2210–2223.DOI:10.1016/j.patcog.2009.12.026
[16]	Li Y,Shan S,Zhang H,et al.Fusing magnitude and phase features for robust face recognition[C]// Asian Conference on Computer Vision.Daejeon,2012:601-612.
[17]	Li H,Hua G,Shen X,et al.Eigen-PEP for video face recognition[C]// Computer Vision-ACCV 2014.Singapore:Springer International Publishing,2014:17-33.
[18]	Zhu Z, Luo P, Wang X, et al. Recover canonical-view faces in the wild with deep neural networks[J].Technical Report Arxiv , 2014: 1404.
[19]	Yi D,Lei Z,Li S Z.Shared representation learning for heterogenous face recognition[C]// IEEE International Conference and Workshops on Automatic Face and Gesture Recognition.Washington:IEEE,2015:1-7.
[20]	Ding C, Choi J, Tao D, et al. Multi-directional multi-level dual-cross patterns for robust face recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence , 2016, 38(3): 518–531.