, 吴成东2 1. 东北大学 信息科学与工程学院, 辽宁 沈阳 110819;
2. 东北大学 机器人科学与工程学院, 辽宁 沈阳 110819
收稿日期：2018-12-04
基金项目：国家自然科学基金资助项目(61503274, 61701101);国家重点机器人工程项目(2017YFB1300900, 2017YFB1301103);沈阳市科技计划项目(17-87-0-00, 18-013-0-15)。
作者简介：石春鹤(1975-), 男, 辽宁灯塔人, 东北大学博士研究生;
吴成东(1960-), 男, 辽宁大连人, 东北大学教授, 博士生导师。
摘要：为提高多种光照条件下交通卡口视频中车脸识别的准确性, 提出了一种基于改进非负矩阵分解的车脸识别算法.对采集图像进行预处理, 获得车脸图像与车牌信息.基于特定光照条件, 自适应提取车脸图像的初始特征.针对车脸图像中像素位置的重要性差异, 建立了加权稀疏约束非负矩阵分解的特征降维方法.通过判断特征相似性与车牌信息一致性, 确定车辆是否合法.实验结果表明所提算法具有较好的识别性能, 真实接受率与错误拒绝率分别可达到0.987 5与0.04, 并满足实时性要求.
关键词：车脸识别视频处理车牌识别非负矩阵分解稀疏表示
Vehicle Face Recognition Algorithm Based on Weighted and Sparse Nonnegative Matrix Factorization
SHI Chun-he1
, WU Cheng-dong2 1. School of Information Science & Engineering, Northeastern University, Shenyang 110819, China;
2. School of Robot Science & Engineering, Northeastern University, Shenyang 110819, China
Corresponding author: SHI Chun-he, E-mail: gbjdjiaxu@163.com
Abstract: In order to improve the vehicle face recognition accuracy in traffic videos under various illumination conditions, a vehicle face recognition algorithm based on improved nonnegative matrix factorization(NMF)was proposed. The vehicle face image and license plate information were acquired after image preprocessing. The original feature of vehicle face image was extracted adaptively based on the special illumination condition. For the importance variation of different pixels in vehicle face image, a feature dimension reduction based on weighted and sparse NMF(WSNMF)was established. The vehicle legality can be defined by determining the similarity of features and the consistency of license plates. The experimental results showed that the proposed algorithm has better recognition performance, and genuine acceptance rate(GAR)and false rejection rate(FRR)can reach 0.987 5 and 0.04, respectively, and meet the real-time requirements.
Key words: vehicle face recognitionvideo processinglicense plate recognitionnonnegative matrix factorizationsparse representation
传统判断机动车是否存在套牌行为都是利用人工检测的, 随着机动车数量的增加与治安卡口监控视频数据量的增大, 人工检测因效率较低下已不能满足要求, 因此, 设计一种智能的识别与检测方法具有重要意义.
近年来, 一些学者围绕车辆识别问题主要从以下两个方面展开研究：一方面为单一图像特征提取与识别研究[1], 如颜色特征[2]、形状特征[3]、三维特征[4-6]等；另一方面为基于深度学习的方法实现对车辆的识别[7-10], 均取得了一定的识别效果.然而, 一些采集图像中车身信息缺失较大, 仅车脸信息保留完整, 且图像极易受光照因素影响, 大多已有算法并未深入讨论, 而本文将针对该问题展开研究.由于车脸区域相对车牌位置较为固定, 如何通过降维寻找到一组有效的基图像, 将成为是否能够准确识别车脸的关键.目前, 在目标识别中常见的降维算法主要包括主成分分析[11]、线性判别分析[12]、独立成分分析[13]及局部保留投影[14]等.
以上算法实现特征降维后, 矩阵或向量中的元素可能为负数, 虽然不影响数学计算, 但对于分解后基图像的像素来说, 负数因缺乏物理意义很难被解释.因此, 设计了一种抗光照的映射函数, 并针对映射矩阵提出了一种基于加权稀疏非负矩阵分解(weighted and sparse nonnegative matrix factorization, WSNMF)的车脸识别算法.实验验证, 所提算法可以获得较好的车脸识别效果, 对正常车辆与套牌车辆做出有效判断.算法具体流程如图 1所示.
图 1(Fig. 1)
 | 图 1 算法流程图Fig.1 Algorithm flow chart |
1 监控视频采集图像预处理本系统将多个摄像头安装于不同的交通卡口处, 对每一辆通过的机动车进行拍照, 从而获取车脸图像, 如图 2所示.
图 2(Fig. 2)
 | 图 2 不同交通卡口摄像头采集图像Fig.2 Acquired images from different traffic gate cameras (a)—摄像头1；(b)—摄像头2；(c)—摄像头3. |
由图 2可知, 在不同时刻采集的图像中, 车的位置与完整程度存在一定差异, 因此, 需要对车脸的感兴趣区域进行分割与归一化处理.
首先对图像中车牌区域进行校正、分割与识别[15], 如图 3a所示.以车牌为基准进行车脸感兴趣区域(region of interest, ROI)分割, 假定图像校正后车牌左上角与右下角坐标分别为(x1P, y1P)与(x2P, y2P), 那么ROI左上角坐标(x1R, y1R)与右下角坐标(x2R, y2R)计算如式(1), 式(2)所示, ROI分割结果如图 3b所示.
图 3(Fig. 3)
 | 图 3 图像预处理Fig.3 Image preprocessing (a)—车牌分割与识别结果；(b)—车脸ROI分割结果. |
 | (1) |
 | (2) |
2 多光强条件下初始特征自适应提取经分析, 车脸图像的特征主要体现在车身颜色与轮廓上, 但由于不同时段光照存在差异, 同一车辆在图像中体现出一定的颜色偏差, 如图 4所示.
图 4(Fig. 4)
 | 图 4 不同光强下的车身颜色变化Fig.4 Vehicle color variation under different light intensities (a)—白天；(b)—黑夜. |
在这种情况下, 颜色特征的有效性将会降低, 从而更依赖于图像的轮廓特征, 因此, 车脸图像的初始特征需要随着不同时段光照变化而进行自适应调整, 这里, 第i幅车脸图像初始特征向量Fi为
 | (3) |
 | (4) |
 | (5) |
 | (6) |
 | (7) |
3 基于WSNMF的识别模型Lee等[16]提出了基于NMF的数据降维方法.对于图像分解, NMF在实现降维的同时, 还能够保持合理的物理含义, 因此, 对NMF进行了改进, 提出了一种基于WSNMF的识别模型.
首先, 对所有训练样本进行初始特征提取, 从而形成训练样本初始特征矩阵F, 其NMF分解式为
 | (8) |
对于识别问题, 仅对分解后矩阵进行非负性约束是不够的, 仍需加以其他约束以保证模型更有利于识别.
1) 稀疏性:稀疏表示的目的就是在所有基图像中选用尽可能少的基图像来表示信号, 进而可以获得更为简洁的表示方式[17].因此, 需对分解后的系数矩阵V加以稀疏性约束, 即min‖V‖0.由于求解min‖V‖0是一个NP难问题, 根据压缩感知理论, 可将其等价于求解min‖V‖1.为进一步在分解时方便求导, 又可将其近似为求解min‖V‖2.综上, 对分解系数矩阵V加以稀疏约束后, 目标函数可改进为
 | (9) |
2) 特征加权与聚类约束:在车脸图像中, 不同区域特征的有效性是存在差异的, 例如, 车标区域能够反映车的重要特征.车脸图像不同位置的特征对识别的影响力是不一致的, 因此, 在建立识别模型时需对初始特征矩阵不同位置进行加权处理WF, 这里
 | (10) |
除对不同位置特征进行加权处理外, 还需保证分解后新特征间满足较好的聚类特性, 即类间差异尽可能大.因此, 目标函数可进一步改进为
 | (11) |
 | (12) |
 | (13) |
4 基于梯度下降的模型求解根据矩阵中迹性质, 目标函数可等价变换为
 | (14) |
 | (15) |
 | (16) |
 | (17) |
 | (18) |
改进非负矩阵分解流程如下：
输入量:初始特征矩阵F, 权重系数α与β.
步骤1??随机产生0~1之间的初始矩阵U(0)与V(0), 设置最大迭代次数N, 迭代最大误差阈值e, t=0.
步骤2??t=t+1.
步骤3??求解J(U(t), V(t)).
如果J(U(t), V(t)) < e或t>N, 则进入步骤5;
否则进入步骤4.
步骤4??对U与V中所有元素按以下规则进行迭代:
 |
步骤5??迭代结束, 得到最优解Uf与Vf.
系统完整识别过程如下:
输入量:测试车脸图像.
步骤1??获取测试车脸图像的初始特征向量
步骤2??计算其分解系数向量
步骤3??在数据库中寻找相同车牌号的车脸图像分解系数向量V′.
步骤4计算Vi与V′的余弦距离, 并与阈值ξ相比较, 判断车辆是否合法;
若
车辆合法;
否则：
套牌车辆.
5 实验结果及分析5.1 实验数据集实验的数据集为某城市22个交通卡口采集的103 028幅车脸图像及其采集的时间信息, 其中, 有效图像80 197幅, 部分样本如图 5所示.
图 5(Fig. 5)
 | 图 5 数据集中部分样本Fig.5 Partial samples in data set (a)—有效图像；(b)—无效图像. |
实验中, 由于数据集中仅有近450辆车重复出现, 因此这里选取400对非套牌车(车牌相同, 车也相同)的图像作为正测试样本; 此外, 由于样本库中套牌车辆(车牌相同, 车不相同)较少, 需人为对部分车脸图像中的车牌进行了修改, 模拟套牌车辆, 这里选取了50对车脸图像进行了修改, 作为负测试样本.
5.2 模型参数的确定确定有效样本图像后, 需对算法的参数进行设置:在ROI提取过程中, 式(1)与式(2)中设s=1.5, c1=6, c2=2, ROI尺寸标准化至80×60像素; 式(7)获取特征权重系数, η=0.9, u=12, σ=3;式(10)获取位置权重系数, σ=20;构造NMF模型时, 随机选取3 000幅不同车牌的图像作为训练样本; 而分解后系数向量维度r、平衡因子α与β及阈值ξ将由实验获得.
车脸图像初始特征维度为n, 经过分解后的系数向量维度为r, 分别令降维前后特征维度比r/n∈{0.3, 0.4, …, 0.7}, 平衡因子α, β∈{10, 1, 0.1}, 从而分析在哪种组合参数下, 可获得测试样本最优的真实接受率(genuine accept rate, GAR)与真实拒绝率(genuine reject rate, GRR)曲线.
 | (19) |
 | (20) |
根据GAR与GRR曲线性质, 最优曲线应满足式(21)与式(22), 而最优参数α与β由式(23)获得.
 | (21) |
 | (22) |
 | (23) |
由实验可知, 令r/n=0.3, 当α=0.1, β=1时, 可同时获得最优解, 此时G(α, β)=7.824 4.
确定了参数α与β的求解方式后, 通过比较不同维度比r/n条件下的MaxG(α, β)值, 确定最优参数α, β, r/n.不同参数下获得的MaxG(α, β)值如表 1所示.
表 1(Table 1)
 表 1 不同r/n下的MaxG(α, β)值Table 1 Max G(α, β)values under different r/n
| 表 1 不同r/n下的MaxG(α, β)值 Table 1 Max G(α, β)values under different r/n |
由表 1可知, 当r/n=0.4时, 可获得最优MaxG(α, β)值, 此时的参数α与β分别取值0.1与1.
可通过式(24)获得最优阈值
 | (24) |
 | (25) |
5.3 算法比较及分析确定了模型的参数后, 通过GAR-FAR(false accept rate)曲线, 与其他降维算法及已有部分车脸识别算法进行性能比较, 结果如图 6, 图 7所示.
图 6(Fig. 6)
 | 图 6 不同降维算法的性能曲线Fig.6 Performance curves of different dimensional reduction algorithms |
图 7(Fig. 7)
 | 图 7 不同识别算法的性能曲线Fig.7 Performance curves of different recognition algorithms |
由图 6与图 7可知, 所提WSNMF模型相对于其他经典降维算法具有较为明显的性能优势, 可知对NMF加以加权稀疏约束与聚类约束是有利于识别的.此外, 在识别效果上, 也要优于仅仅基于颜色特征的识别算法, 验证了本文算法的有效性与对于光照变化的鲁棒性.该实验硬件环境为PC机, 其中处理器为Intel Core i5-4460 CPU 3.2 GHz, 16 GB内存; 软件环境为MATLAB 2017b.在以上实验条件下, 识别的平均时间为0.17 s, 可以较好地满足识别的实时性要求.
6 结论1) 本文提出了一种有效的车脸识别算法, 较好地解决了交通卡口视频自动检测车辆合法性的问题.
2) 算法的创新点主要体现在:通过对图像光照与位置信息分析, 自适应提取了车脸图像的初始特征; 对NMF进行了有效改进, 获得较高的正确识别率, 且算法对于多种光照条件具有较好的鲁棒性.
参考文献
| [1] | 张强, 李嘉锋, 卓力. 车辆识别技术综述[J].北京工业大学学报, 2018, 44(3): 382–392. ( Zhang Qiang, Li Jia-feng, Zhuo Li. Review of vehicle recognition technology[J].Journal of Beijing University of Technology, 2018, 44(3): 382–392.) |
| [2] | Hu W, Yang J, Bai L, et al.A new approach for vehicle color recognition based on specular-free image[C]//Proceedings of SPIE.Shanghai: The International Society for Optical Engineering, 2013: 9067. |
| [3] | Zhang B. Reliable classification of vehicle types based on cascade classifier ensembles[J].IEEE Transactions on Intelligent Transportation Systems, 2013, 14(1): 322–332.DOI:10.1109/TITS.2012.2213814 |
| [4] | Zhang Z, Tan T, Huang K, et al. Three-dimensional deformable-model-based localization and recognition of road vehicles[J].IEEE Transactions on Image Processing, 2012, 21(1): 1–13.DOI:10.1109/TIP.2011.2160954 |
| [5] | Pepik B, Stark M, Gehler P, et al. Multi-view and 3D deformable part models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(11): 2232–2245. |
| [6] | Lin Y L, Morariu V I, Hsu W, et al.Jointly optimizing 3D model fitting and fine-grained classification[C]//European Conference on Computer Vision.Zurich, 2014: 466-480. |
| [7] | Hu C, Bai X, Qi L, et al. Vehicle color recognition with spatial pyramid deep learning[J].IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2925–2934.DOI:10.1109/TITS.2015.2430892 |
| [8] | Liu M, Yu C, Ling H, et al.Hierarccal joint CNN-based models for fine-grained cars recognition[C]//International Conference on Cloud Computing & Security.Singapore, 2016: 337-347. |
| [9] | Rachmadi R F, Purnama I. Vehicle color recognition using convolutional neural network[J].ArXiv Preprint ArXiv, 2015, 1510: 07391. |
| [10] | Yang L, Luo P, Loy C C, et al.A large-scale car data set for fine-grained categorization and verification[C]//IEEE Conference on Computer Vision and Pattern Recognition.Boston, 2015: 3973-3981. |
| [11] | Naikal N, Yang A Y, Sastry S S.Informative feature selection for object recognition via sparse PCA[C]//International Conference on Computer Vision.Barcelona, 2011: 818-825. |
| [12] | Wu L, Shen C, Hengel A V D. Deep linear discriminant analysis on fisher networks:a hybrid architecture for person re-identification[J].Pattern Recognition, 2017, 65: 238–250.DOI:10.1016/j.patcog.2016.12.022 |
| [13] | Gawehns D, Wilderjans T F, Putten C M V. The statistical analysis of neuronal data:comparing algorithms for independent component analysis[J].ISME Journal, 2016, 7(2): 317–336. |
| [14] | Chen S B, Wang J, Liu C Y, et al. Two-dimensional discriminant locality preserving projection based on 1-norm maximization[J].Pattern Recognition Letters, 2017, 87: 147–154.DOI:10.1016/j.patrec.2016.04.007 |
| [15] | 吴成东, 樊玉泉, 张云洲, 等. 基于改进KPCA算法的车牌字符识别方法[J].东北大学学报(自然科学版), 2008, 29(5): 629–632. ( Wu Cheng-dong, Fan Yu-quan, Zhang Yun-zhou, et al. License plate recognition method based on improved KPCA algorithm[J].Journal of Northeastern University(Natural Science), 2008, 29(5): 629–632.DOI:10.3321/j.issn:1005-3026.2008.05.006) |
| [16] | Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorization[J].Nature, 1999, 401(6755): 788–791.DOI:10.1038/44565 |
| [17] | Liu Q. Kernel local sparse representation based classifier[J].Neural Processing Letters, 2016, 60(1): 1684–1695. |
