高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

基于HOG-CSLBP与深度学习的跨年龄人脸识别算法

上一篇

下一篇

胡渝苹. 基于HOG-CSLBP与深度学习的跨年龄人脸识别算法[J]. 西南师范大学学报(自然科学版), 2020, 45(3): 115-120. doi: 10.13718/j.cnki.xsxb.2020.03.018
引用本文: 胡渝苹. 基于HOG-CSLBP与深度学习的跨年龄人脸识别算法[J]. 西南师范大学学报(自然科学版), 2020, 45(3): 115-120. doi: 10.13718/j.cnki.xsxb.2020.03.018
shu
Yu-ping HU. Cross-Age Face Recognition Algorithm Based on HOG-CSLBP and Deep Learning[J]. Journal of Southwest China Normal University(Natural Science Edition), 2020, 45(3): 115-120. doi: 10.13718/j.cnki.xsxb.2020.03.018
Citation: Yu-ping HU. Cross-Age Face Recognition Algorithm Based on HOG-CSLBP and Deep Learning[J]. Journal of Southwest China Normal University(Natural Science Edition), 2020, 45(3): 115-120. doi: 10.13718/j.cnki.xsxb.2020.03.018
shu

基于HOG-CSLBP与深度学习的跨年龄人脸识别算法

  • 重庆水利电力职业技术学院 大数据学院, 重庆 402160

  • 基金项目: 重庆市教委科学技术研究项目（KJ1603701）
详细信息
    作者简介:

    胡渝苹(1982-), 女, 硕士, 讲师, 主要从事计算机软件应用研究 .

  • 中图分类号: TP391.4

Cross-Age Face Recognition Algorithm Based on HOG-CSLBP and Deep Learning

  • Big Data Institute, Chongqing Water Resources and Electric Engineering College, Chongqing 402160, China

  • 摘要: 针对人脸识别中识别精度低的问题，提出一种基于深度学习的跨年龄人脸识别算法.该方法创新性地将方向梯度直方图（Histogram of Oriented Gradient，HOG）和中心对称局部二值模式（Center Symmetric Local Binary Pattern，CSLBPS）组合方法用于人脸图像特征提取，获得包含结构和强度信息的图像融合特征，然后使用二叉树对特征信息进行降维，降维特征作为深度信念网络的可视层输入量，弥补深度新信念网络无法达到图像局部特征要求的缺陷.通过训练好的深度网络模型对测试样本进行学习，在深度信念网络的最顶层对特征进行分类识别.实验结果表明，该方法能高精度实现人脸识别，且与其他方法比较，该方法性能优于其他方法，说明该方法具有可行性和有效性.
    Abstract: Aiming at the problem of low recognition accuracy in face recognition, a cross-age face recognition algorithm based on deep learning has been proposed. In this method innovatively, the combination of Histogram of Oriented Gradient (HOG) and Center Symmetric Local Binary Pattern (CSLBPS) has been conducted for face image feature extraction and the image fusion features been obtained including the structure and intensity information, and then the binary tree been used to feature the features. The dimensionality reduction feature has been used as the visual layer input of the deep belief network, which makes up for the defect that the depth of the new belief network cannot meet the local features of the image. The test samples have been learned through the trained deep network model, and the features been classified and identified at the top level of the deep belief network. The experimental results show that the proposed method can realize face recognition with high precision, and compared with other methods, the performance of this method is better than other methods, which shows the feasibility and effectiveness of the proposed method.
  • 加载中

  • 图 1  二阶HOG流程图

    下载: 全尺寸图片 幻灯片

    图 2  LPS与CSLPS特征提取比较

    下载: 全尺寸图片 幻灯片

    图 3  RBM模型

    下载: 全尺寸图片 幻灯片

    图 4  深度信念网络结构

    下载: 全尺寸图片 幻灯片

    图 5  深度信念网络的跨年龄人脸识别流程图

    下载: 全尺寸图片 幻灯片

    图 6  跨年龄人脸数据库中部分图像

    下载: 全尺寸图片 幻灯片

    图 7  不同算法的跨年龄人脸识别率

    下载: 全尺寸图片 幻灯片

    表 1  不同隐藏层单元数下人脸识别性能

    算法 隐藏单元数 识别率/% 训练时间/s 特征匹配时间/s 总时间/s
    DBN 1 000 30.85 147.14 8.67 153.5
    2 000 51.17 381.49 13.78 397.3
    3 000 67.47 718.28 28.28 748.62
    4 000 80.59 1162.5 44.37 1 207.89
    5 000 87.32 1704.05 65.45 1 771.53
    LBP+DBN 1 000 30.27 469.81 11.02 482.86
    2 000 51.58 848.89 20.83 880.63
    3 000 67.67 2 743.55 76.56 2 822.11
    4 000 82.67 3 150.33 93.84 3 317.82
    5 000 89.34 3 483.55 113.31 3 651.81
    本文方法 1 000 31.9 154.55 4.69 161.27
    2 000 53.94 401.24 15.27 418.54
    3 000 78.69 764.58 26.42 793.03
    4 000 88.64 1 171.89 45.27 1 219.19
    5 000 98.5 1 740.97 66.03 1 809.03
    下载: 导出CSV

    表 2  不同分块数下人脸识别率 %

    算子 1×1 2×2 3×3 4×4 5×5 6×6
    CLBP4-12 66.5 84.5 94 96.5 96 95
    CLBP8-12 85.5 92.5 96.5 98 96 96
    CLBP8-22 87.5 93 96.5 98.5 96.5 97
    CLBP16-22 89 96 96 98 94.5 94.5
    下载: 导出CSV
  • [1] SCHROFF F, KALENICHENKO D, PHILBIN J.FaceNet: a Unified Embedding for Face Recognition and Clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Boston: IEEE, 2015.
    [2] WEN Y D, ZHANG K P, LI Z F, et al.A Discriminative Feature Learning Approach for Deep Face Recognition[M]//Computer Vision-ECCV 2016.Cham: Springer International Publishing, 2016.
    [3] KARCZMAREK P, KIERSZTYN A, PEDRYCZ W, et al.An Application of Chain Code-based Local Descriptor and Its Extension to Face Recognition[J].Pattern Recognition, 2017, 65:26-34. doi: 10.1016/j.patcog.2016.12.008
    [4] 嵇新浩.基于Gabor和HOG的新型人脸识别算法[J].西南师范大学学报(自然科学版), 2017, 42(12):96-104. doi: http://xbgjxt.swu.edu.cn/jsuns/jscnuhhse/ch/reader/view_abstract.aspx?file_no=x201712017&flag=1
    [5] 潘禹岐, 江铭炎, 张振月.基于流形的局部加权协从表示人脸识别[J].计算机应用研究, 2016, 33(7):2206-2209. doi: 10.3969/j.issn.1001-3695.2016.07.062
    [6] DU L, LING H B.Cross-age Face Verification by Coordinating with Cross-face Age Verification[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Boston: IEEE, 2015.
    [7] CHEN B C, CHEN C S, HSU W H.Cross-Age Reference Coding for Age-Invariant Face Recognition and Retrieval[M]//Computer Vision-ECCV 2014.Cham: Springer International Publishing, 2014.
    [8] JUEFEI-XU F, SAVVIDES M.Subspace-Based Discrete Transform Encoded Local Binary Patterns Representations for Robust Periocular Matching on NIST's Face Recognition Grand Challenge[J].IEEE Transactions on Image Processing, 2014, 23(8):3490-3505. doi: 10.1109/TIP.2014.2329460
    [9] ZOU H S, HU H F.Cross-age Face Recognition Using Reference Coding with Kernel Direct Discriminant Analysis[C]//2017 IEEE International Conference on Image Processing (ICIP).Beijing: IEEE, 2017.
    [10] LI Z F, GONG D H, LI X L, et al.Aging Face Recognition:a Hierarchical Learning Model Based on Local Patterns Selection[J].IEEE Transactions on Image Processing, 2016, 25(5):2146-2154. doi: 10.1109/TIP.2016.2535284
    [11] LI H X, HU H F, YIP C.Age-Related Factor Guided Joint Task Modeling Convolutional Neural Network for Cross-Age Face Recognition[J].IEEE Transactions on Information Forensics and Security, 2018, 13(9):2383-2392. doi: 10.1109/TIFS.2018.2819124
    [12] LI Y, WANG G R, NIE L, et al.Distance Metric Optimization Driven Convolutional Neural Network for Age Invariant Face Recognition[J].Pattern Recognition, 2018, 75:51-62. doi: 10.1016/j.patcog.2017.10.015
  • 加载中
图( 7) 表( 2)
计量
  • 文章访问数:  1561
  • HTML全文浏览数:  1561
  • PDF下载数:  120
  • 施引文献:  0
出版历程
  • 收稿日期:  2018-07-10
  • 刊出日期:  2020-03-20

基于HOG-CSLBP与深度学习的跨年龄人脸识别算法

    作者简介: 胡渝苹(1982-), 女, 硕士, 讲师, 主要从事计算机软件应用研究
  • 重庆水利电力职业技术学院 大数据学院, 重庆 402160
  • 收稿日期:  2018-07-10
基金项目:  重庆市教委科学技术研究项目（KJ1603701）

摘要: 针对人脸识别中识别精度低的问题，提出一种基于深度学习的跨年龄人脸识别算法.该方法创新性地将方向梯度直方图（Histogram of Oriented Gradient，HOG）和中心对称局部二值模式（Center Symmetric Local Binary Pattern，CSLBPS）组合方法用于人脸图像特征提取，获得包含结构和强度信息的图像融合特征，然后使用二叉树对特征信息进行降维，降维特征作为深度信念网络的可视层输入量，弥补深度新信念网络无法达到图像局部特征要求的缺陷.通过训练好的深度网络模型对测试样本进行学习，在深度信念网络的最顶层对特征进行分类识别.实验结果表明，该方法能高精度实现人脸识别，且与其他方法比较，该方法性能优于其他方法，说明该方法具有可行性和有效性.

English Abstract

    全文HTML

  • 人脸识别是一个研究热点，其面临的挑战之一是实现时间不变性[1-3]，随着人脸识别算法的发展，其识别精度也随之增加，其应用领域也越来越广泛，如监控、门禁、金融支付和远程身份识别等[4-5].尽管不同外界条件下的人脸识别已经取得了很多研究，但是跨年龄人脸识别仍然是一个挑战[6-7].老化的人脸识别具有许多有效的实际应用，例如寻找失踪儿童，根据照片识别罪犯和多个登记检测问题.

    局部二值模式选择是解释数字图像纹理和模型的一种非常强大的方法，因此是人脸识别系统中特征提取的理想选择.首先将面部图像分割成小区域，再提取特征，然后将其连接成单个特征向量.该向量形成面部区域的有效表示，并可用于测量图像之间的相似性[8].从原始面部图像导出面部表示，是成功的面部表情识别方法的必要步骤.

    大多数常规面部识别系统并不适合处理随年龄增长的面部识别，且许多早期的研究都集中在年龄估计方面，只有少数研究与衰老的人脸识别直接相关. Zou等[9]提出一种跨年龄人脸识别模型，该模型构造了一种按时间顺序排列的参考集来消除输入图像的年龄差异，利用图库集的身份信息进行判别分析，从而可以在参考编码后进一步区分子空间中的人. Li等[10]提出了一种老化人脸识别方法，其中使用了基于局部模式选择的分层学习模型.在基于两级学习的分层模型的帮助下解决了该问题.在第一阶段，基于局部模式选择从低微结构学习有效特征，从而减少用户内差异.在第二阶段，基于低级结构的输出细化更高级别的信息. Li等[11]提出深度卷积网络的跨年龄人脸识别方法，该模型具有共享相同特征层的年龄歧视网络的辨别网络，通过交替训练融合网络和组合因子模型，高级间扩展和类内紧凑性有效地分离跨年龄身份特征. Li等[12]等人提出一种新的距离度量优化驱动的深度学习框架，用于年龄不变的人脸识别，以端到端的方式同时学习特征表示和相似性度量，使用新颖的优化方法和精心设计的培训策略培训联合网络.

    针对以上跨年龄人脸识别方法中识别精度低的问题，本文提出一种基于深度信念网络的跨年龄人脸识别方法.该方法将方向梯度直方图(Histogram of Oriented Gridients，HOG)和中心对称局部二值模式(Center Symmetric Local Binary Pattern，CSLBP)方法联合起来，融合提取图像轮廓特征以及纹理特征，然后使用深度信念网络对特征进行训练分类，实验结果表明，对于跨年龄的人脸识别，所提算法能够得到较高的识别精度.

1.   基于深度学习的跨年龄人脸识别

    1.1.   HOG与CSLBP

  • 方向梯度直方图HOG是图像的密集特征提取方法，在密集特征提取中，算法提取图像中的所有特征位置，通过捕获该区域中的结构形状，获得关于梯度的信息.图像被分成4×4个8×8像素的单元块.本文采用二阶HOG对图像进行特征提取，二阶HOG流程如图 1所示.

    对于图像中像素(x，y)处的方向梯度直方图梯度幅值和方向的计算如式(1)和式(2)所示.

    式(1)表示(x，y)处的梯度幅值，其中I(x，y)是人脸图像在点(x，y)处的像素值.

    式(2)表示(x，y)处的梯度方向，其中I(x，y)是人脸图像在点(x，y)处的像素值.本文采用一阶梯度算子进行水平和垂直方向的梯度计算.

    局部二值模式LBP产生相当长的直方图，难以在图像描述符中使用.为了解决该问题，使用比较相邻像素的修改方案，即中心对称局部二值模式CSLBP，旨在使较少数量的LBP标签产生更短的直方图，更适合在区域描述符中使用.在CSLBP中，像素值不是与中心像素相比，而是相对于中心像素对称地与相对像素相比较.如图 2所示，该方法比较中心对称的像素对，而不是将每个像素与中心像素进行比较.在LPS情况下，8个邻居产生256个不同的二进制模式，而对于CSLBP，则产生16个不同的二进制模式.

    • 1.2.   深度信念网络

  • 深度学习中深度信念网络(Deep Belief Networks，DBN)是包含多层隐层的概率生成模型，由多层限制波尔兹曼机(Restricted Boltzmann Machine，RBM)构成，RBM模型如图 3所示.与传统训练网络相比，DBN解决了容易陷入局部最优的问题，DBN是一个监督学习与非监督学习结合的过程，主要由预训练和微调两个部分组成.

    RBM是由可视层单元和隐藏层单元这两层节点组成的随机神经网络，可以看作一个二分结构无向图，在隐藏层中的两个连续层之间执行每个学习过程. RBM是具有两层结构特定类型的马尔可夫随机场，其中可见层二进制随机单元v∈{0，1}D连接到隐藏层二进制随机单元h∈{0，1}F，状态{v，h}的能量可以通过式(3)计算.

    其中，D和F分别是可见单元和隐藏单元的数量，v是可见向量，h是隐藏向量，ai和bj分别是对应于可见和隐藏单元的偏置. wij是可见单元和隐藏单元之间的连接权重.随机变量(v，h)的联合概率密度可由Gibbs分布采样得到.

    Gibbs采样的每次迭代都使用式(5)和式(6)中改了函数更新所有隐藏单元和所有可见单元.

    式(5)和式(6)中f(·)表示sigmoid激活函数.

    深度信念网络由多个RBM叠加形成，构成多个随机变量组合的有向无环图. DBN这个概率生成模型是观察数据和标签之间的联合分布，其做工原理即为使用底层RBM来训练下一层RBM，最终得到一组RBM. DBN结构如图 4所示.含有一层隐藏单元的DBN，可视单元和隐藏单元之间的联合分布可以表示为

    其中，v是深度信念网络可见层，h(k)表示第k层隐藏单元，k的取值是[1，l]，v=h(0)，则第k层隐藏层与下一隐藏单元之间满足概率分布.

    其中，ai(k)表示第k层的偏置，wij(k)表示第k层和第k+1层之间的权值.

    对于深度信念网络预训练，此阶段仅需要未标记的数据，每层的贪婪分层无监督训练原理可以用RBM作为每层的构建块.经过预训练以后，进行深度信念网络微调，此阶段仅需要可用的标记数据进行微调，每次为一个层提供一组合理的权重，对每一层进行无监督学习，最后实现对整个网络监督学习的微调.

    • 1.3.   本文方法流程

  • 深度学习与HOG，CSLBP的人脸识别算法流程如下所示：

    1) 获取训练集和测试集的二维HOG特征，具体获取步骤如图 1所示，得到二维HOG特征为y1；

    2) 获取训练集和测试集的CSLBP特征，用CSLBP算子扫描预处理人脸图像，得到对应的CSLBP编码图像，用双线性插值来消除编码图像均匀子块图像的边缘效应.使用直方图统计子块图像的CSLBP特征，顺序级联所有块直方图特征，形成图像的CSLBP特征向量y2；

    3) 按照Z=[y1/σ1 y2/σ2]T归一化融合二阶HOG特征与CSLBP特征，得到融合特征Z，其中σ1和σ2分别为两种特征的标准差；

    4) 将训练集融合特征作为DBN可视层的输入，对各层进行训练得到所需的最优参数；

    5) RBM训练过程是通过使用比散度算法(Contrastive Divergence，CD)作为梯度近似的Gibbs采样来更新权值；

    6) 对每层的权值进行微调，然后采用反向传播微调整个网络，使用Logistic回归分类器获得测试样本标签，实现跨年龄人脸识别，并得到识别率.

    本文方法的流程见图 5.

2.   实验结果与分析

  • 本文实验数据集从FGNET数据集、MORPH数据集和CACD数据集按照条件(首先收集名人名单进行数据集构建，然后收集不同出生年份的名字)选择图片形成一个综合数据库，其中包含16 000个年龄从16-62岁名人的16万个图像.数据集中的人有不同的年龄，发现2 000个名人具有超过200 000个面部图像，为了移除重复图像，本文使用重复检测算法删除嘈杂图像后，最终数据库中有168 000张图像.实验所用的硬件环境为Intel Core i7，8 G内存的笔记本电脑，使用仿MATLAB作为仿真平台.实验中将本文算法分别与DBN算法、LBP+DBN算法进行比较. 图 6是实验中用到的部分图像.

    在本文算法中，深度信念网络隐藏单元数和人脸图像分块数是影响人脸识别效果的两个因素，因此本文将两个因素对本文算法进行验证.跨年龄人脸识别率随着深度信念网络中隐藏单元数的变化而发生变化，这是因为深度学习受到学习有效性的影响. 表 1给出了在不同的隐藏单元层数条件下，本文算法与其他算法的识别率以及消耗时间消耗的结果，图像分块大小为4×4个8×8像素的单元块.

    由表 1中数据可以得出，人脸识别率随着网络中隐藏单元数的增加而提高，同时人脸识别消耗时间随着增加.主要原因是深度学习隐藏单元增加导致整个网络计算量增加，本文深度学习人脸识别算法的识别率优于DBN算法和DBN+LBP算法的识别率.

    当深度信念网络隐藏层单元一定时，图像的分块大小和CSLBP的算子也影响人脸识别率，表 2给出了不同分块大小条件下，本文方法的识别率对比结果，其中CLBP4-12-CLBP16-22是CSLBP的不同算子.

    由表 2中数据可以得到，在CLBP8-22算子条件下，分块为4×4时识别率最好，在后续实验中，将使用CLBP8-22算子和4×4分块大小的条件进行实验.

    为了说明本文算法的有效性和优越性，将本文算法与文献[4]、文献[5]、文献[9]和文献[11]中算法进行比较，对综合数据库中跨年龄人脸图像进行识别，识别率结果见图 7.

    从图 7中可以看出，本文算法对于跨年龄人脸识别率高于其他4种算法，这是因为本文算法中HOG-CSLBPS方法能够获得更多包含结构和强度信息的图像融合特征，并使用深度信念网络对降维特征进行预学习与微调，最终提高了跨年龄人脸识别精度.

3.   结语

  • 本文提出一种HOG和CSLBP融合特征的深度学习跨年龄人脸识别算法，该算法使用HOG和CSLBP组合用于获得图像的结构和颜色信息，然后将融合特征作为深度信念网络输入，对特征图像进行预学习与微调，最后使用Logistic回归对人脸图像进行分类.实验结果表明，本文方法能够实现跨年龄人脸的识别，且识别精度优于其他算法，说明本文算法行之有效.未来工作是对本文算法进行深入研究，进一步减少本文算法的时间消耗.

参考文献 (12)

目录

版权所有：西南师范大学学报(自然科学版)

地址：重庆市北碚区西南大学 电话：023-68252540，68254576，68254478 电子邮箱：xbbjb@swu.edu.cn

本系统由北京仁和汇智信息技术有限公司开发

/

返回文章
返回