留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

基于对称差分算法的快速人脸运动图像分割方法

上一篇

下一篇

高玉潼, 雷为民, 吴微. 基于对称差分算法的快速人脸运动图像分割方法[J]. 西南大学学报(自然科学版), 2020, 42(7): 184-193. doi: 10.13718/j.cnki.xdzk.2020.07.019
引用本文: 高玉潼, 雷为民, 吴微. 基于对称差分算法的快速人脸运动图像分割方法[J]. 西南大学学报(自然科学版), 2020, 42(7): 184-193. doi: 10.13718/j.cnki.xdzk.2020.07.019
Yu-tong GAO, Wei-min LEI, Wei WU. A Method of Rapid Segmentation of Moving Face Image Based on the Symmetrical Difference Algorithm[J]. Journal of Southwest University Natural Science Edition, 2020, 42(7): 184-193. doi: 10.13718/j.cnki.xdzk.2020.07.019
Citation: Yu-tong GAO, Wei-min LEI, Wei WU. A Method of Rapid Segmentation of Moving Face Image Based on the Symmetrical Difference Algorithm[J]. Journal of Southwest University Natural Science Edition, 2020, 42(7): 184-193. doi: 10.13718/j.cnki.xdzk.2020.07.019

基于对称差分算法的快速人脸运动图像分割方法

  • 基金项目: 国家自然科学基金资目(61401081)
详细信息
    作者简介:

    高玉潼(1982-),女,博士研究生,副教授,主要从事多媒体通信研究 .

  • 中图分类号: TP391.41

A Method of Rapid Segmentation of Moving Face Image Based on the Symmetrical Difference Algorithm

图( 11) 表( 1)
计量
  • 文章访问数:  859
  • HTML全文浏览数:  859
  • PDF下载数:  7
  • 施引文献:  0
出版历程
  • 收稿日期:  2019-10-13
  • 刊出日期:  2020-07-01

基于对称差分算法的快速人脸运动图像分割方法

    作者简介: 高玉潼(1982-),女,博士研究生,副教授,主要从事多媒体通信研究
  • 1. 东北大学 计算机科学与工程学院,沈阳 110169
  • 2. 沈阳大学 信息工程学院,沈阳 110044
基金项目:  国家自然科学基金资目(61401081)

摘要: 随着现代社会的发展和人类生活方式的变化,为了便于公共场所的管理,大部分城市地区都设置了视频监控系统.视频监控系统所收集数据的处理,需要使用合适的算法来进行计算,其处理的难点在于从变化的背景环境和流动的人行之中快速进行人脸识别和图像分割,这是传统算法难以实现的.该研究基于传统经典差分算法,对各个算法流程进行优化改进,具体包含了空背景提取、前景检测和阴影消除等.为了验证该算法的有效性和实用性,将该算法进行相应的人脸识别检测系统设计,并进行实际的使用.通过对不同场景的监控检测处理可以看出,基于对称差分算法的视频监控系统能够实现各项功能,准确分割出人形轮廓,快速进行人脸运动图像的分割和检测.进一步利用既有的录像数据进行系统测试,通过测试可以看出在3组不同的复杂环境下,该算法都能够快速准确地进行图像识别,具有很好的鲁棒性.

English Abstract

  • 现代计算机技术的发展使得人们的生产生活方式发生了极大的改变,目前视频监控技术广泛应用于公共场所安全管理、自动化生产等多个方面.图像处理技术可以直接对图像或视频里的信息进行解读,再通过智能视频技术将其中感兴趣的信息提取出来,并利用计算机技术进行自动分析[1].利用智能视频监控系统可以进行场景中物体的识别,对于可能出现的异常行为或异常目标快速响应,根据安全需求发出警报,在必要时将信息资料上传提供给监控者,辅助其进行处理.当前,恐怖袭击和安全突发事件等对社会安全构成了严重威胁,基于智能监控视频可以有效进行公共场所的安全监控[2].在视频监控系统中,大部分摄像机是相对静止的,视频背景也是静止区域,当出现了运动的目标及区域时,需要进行运动检测分析,特别是对基于安全管理需要的运动人脸进行快速检测研究[3].

    目前应用于运动目标检测系统的方法较多,较为典型的是背景差分运动检测,其本质就是将视频图像中的运动目标像素点提取出来.在进行人脸检测的时候,无论是人的运动还是背景的变化,都增加了视频检测的难度[4].背景区域的变化会导致在进行运动目标检测的时候,难以分辨出前景目标和背景区域,因而需要一个好的运动目标检测算法来实现对运动人脸的准确检测,达到在不同场景下都能适用的效果,对监控视频中的微小运动和缓慢图像变化都能进行监测分析.本研究是基于传统背景差分算法的基础上进行的优化改进,从而实现运动中的人脸准确识别,为智能视频监控技术提供一定的借鉴.

  • 在进行运动目标的检测时,采用背景差分法可以利用其高效性来实现运动目标的准确和有效检测.但是,背景差分的方法有很多种,根据其不同方法可以进行差异性划分[5-8].

    应用背景来进行划分的算法可以根据参数的有无划分为两种方式:在有参数的背景差分算法中,首先要对背景的更新率、差分门限等值进行设置;对比分析来看,无参数的背景差分模型能够在更多的环境中应用,但是其适应性偏低,缺乏自动学习能力.根据适应复杂背景的能力,可以将背景差分算法划分为单背景法和多背景法两种.单背景差分方法具有简单高效的优势,但是只能运用于简单场景,在复杂场景其算法便不能有效地适应;而多背景模型虽然计算复杂,但是能够适应更多的复杂场景,减少场景中存在的噪声影响[9].根据图像处理方式不同,可以将背景差分方法划分为基于像素和区域的背景差分方法.基于像素的背景差分方法是对目标图像中的每个像素点都进行处理,将每一个像素点都视为独立对象进行处理.按照区域不同进行划分,背景差分算法工作基本模式是首先按照标准进行区域检测与分割,处理对象为一个区域,充分考虑到区域间的空间相关性.基于像素差分背景算法在处理图像中的独立噪点方面表现突出,有强大的抑制能力,能够对背景的差分鲁棒性起到很好的提升作用[10].

  • 在背景差分的运动目标检测环节,虽然会根据不同情况采用不同的计算方法,但是殊途同归,在本质上都是需要将视频图像中的像素点区域提取出来.任何场景都是一个动态的变化区域,光照的变化、风引起的目标晃动等都使得检测区域背景不可能处于一个绝对静止的状态.这些场景区域中的变化,会导致背景属性和检测运动目标属性上有着很多相似甚至相同的地方,使得背景变化都被检测认定为前景目标,造成错误检测,这成为运动目标检测的一个难点,因而必须要使用一个适用的运动目标检测算法,才能够使其容忍场景中景物的细小运动及缓慢变化.在使用背景差分算法的时候,首先要考虑算法运行时的效率及易用性,由于处理图像视频时需要处理的数据量非常大,因而在考虑算法的时候,必须要同时兼顾考虑算法的准确率和复杂度[11-12].

    背景差分中的一个难题就是要处理运动目标的阴影,因而选择运动目标检测算法时,必须要确保其能够很好地检测到并消除投射阴影.受到检测区域的光照影响,所有的物体都会存在投射阴影,这些阴影将会对检测目标区域的提取和检测产生严重的影响.在进行运动分割时,很容易将目标阴影错误分割为前景,产生分割物体合并、扭曲、变形、颜色错误等问题,导致上层处理出现错误,降低视觉系统性能.因此,在消除目标区域及物体的阴影上仍然有巨大的障碍和难度有待解决.阴影和背景的区别很大,在算法视觉特征的处理中,常常被识别为前景,加之阴影和前景运动特征相同,给阴影检测和消除带来了非常大的障碍,这都会降低目标检测系统的性能和整体效果.

  • 背景差分算法的基本思想就是用当前的图像减去背景模型后得到前景的目标区域,一般情况下由于背景是固定不变的,因此当存在运动目标时,二者就会有非常显著的差异,在这种情况下对于运动人脸的检测效果较好,但是对于多个人物运动以及背景环境发生运动变化时,就难以计算得到二者的差值.采用差分算法来进行背景和需要检测目标之间的区别,重点是所选择的背景模型,由于背景模型千差万别,因而需要利用自动学习算法来获取背景模型[13].即便是对于同一个场景,背景模型也在持续发生变化,例如随着时间的推移,同一个场景都会有光线上的变化,因而最终选择和构建的背景模型需要根据场景变化实时更新.采用差分算法进行运动目标的检测时,所选取的二值化阈值大小会直接影响结果.倘若该值选择得太小,就可能增加误检率,错误将场景中的背景检测成为前景[14].如果二值化阈值的范围过大,对运动目标区域的检测可能就不能完美覆盖,会导致检测目标的大小形状失真扭曲.在解决运动目标检测时,基于背景差分算法的流程如图 1中所示.

    首先需要进行背景建模,这也是整个算法流程最为关键的核心所在,决定了整个算法流程要采取的具体方法和实现过程.最为简单的背景模型就是使用每一帧大小都一样的图像,并保证背景差分步骤与帧间差分法一致.在选择背景模型时,要确保选择的模型能够较好地表示出背景的特点,在能够顺利区分前景和背景的情况下尽量使其更为简单.背景模型构建后进行运动前景检测,如此才能够提取到所需要运动目标信息,其本质上就是要将既有的图像和背景模型进行对比差分,假如提取的图像区域或像素点与既有的背景模型能够匹配,那么就可以认定其为背景.要判断目标图像区域是否为背景模型,就要提前根据数据背景模型来设置匹配门限,需要重点注意的是门限数值的设置,过小的门限数值会干扰到算法的正常运作,造成偏差,任何细微的背景变动都可能会被识别为前景,造成检测失误[15].如果门限设置过大,就可能导致前景被误判成为背景,难以获取想要的运动目标检测信息.因此,可以采用自动智能算法来通过自动学习获得较为理想的门限设定值,通过智能检测来帮助算法适应复杂场景的识别监测工作,避免误测、漏测运动区域的场景,有效提高算法的鲁棒性.

    在完成前景和背景的差分之后,就需要对所获取的数据信息进行更精确的处理,从而获得更为完整准确的运动目标区域和运动运动目标检测.考虑到阴影对目标提取的干扰影响,应该运用阴影部分的自身特性(阴影纹理和像素与正常区域的不同特质)对阴影进行识别检测并予以消除[16-19].在完成前面的步骤后,将原始图像中的运动目标框定出来,绘制出目标轮廓.由于检测场景可能会发生变化,因此需要不断更新背景模型的参数来实现背景差分检测,更新程度参数的更新率(Update Rate)会影响背景更新的速度快慢,因此一般情况下要衡量更新程度参数的更新率,需要选择合适的更新率才能够减少检测错误的发生,提高更新.

  • 将均值背景差分算法的阶段划分为背景建模和前景检查两部分.背景建模阶段主要是对监控视频中各个帧的平均值进行计算,利用该均值得到较为准确的背景模型.将该模型和需要检查的图像帧进行差分运算,利用门限值对差分图像二值化后得到背景差分的结果[20].设背景模型中位置(xy)的像素值为Bxy,第i帧图片(xy)对应的像素值为Ixyi.由此可以得到像素均值的计算公式为

    式(1)中计算用的像素值,可以是不同方式获得的数据值,比如基于多通道的(RGB)向量,也可以是单通道的灰度值.可用于计算平均值的算法较多,常用的有滑动平均值法及线平均值法.由于视频序列是一次输入的,因此要综合考虑不同算法的优缺点进行算法选择.本实验采用在线平均值算法,公式为

    根据式(2)可以看出,背景模型会在系统中不断进行迭代更新,因此可以灵活选取判断出背景训练的结束条件.均值背景模型算法流程如图 2所示.采用常规的均值背景模型原理相对简单,优点也十分显著,运算速度非常快速,一般情况下只需要一次加法运算.但是正因为这种模型的简单性,导致了它对复杂场景处理能力不足,表达不够精准.当遇到背景和前景有巨大差距时,算法计算出的背景平均值会在很大程度上偏离准确值.为了能够得到相对稳定的背景模型,需要参与运算的样本会非常多,样本数量越大得到结果就越准确.为了提升均值背景模型的准确性,本文通过迭代的方式对均值背景模型进行修正.在进行初次迭代时,可以采用与普通均值计算相同的均值模型得出结果,在得出这个均值结果后,筛选滤除与其差值较大的样本,然后对均值进行二次运算.在对如上步骤进行反复迭代后,会逐渐收敛得出符合真实背景模型更为准确的均值.

  • 由于自动学习无法在缺乏空背景学习帧时有效地自行构建出来,实际运用时对称差分算法指出的首帧也常常会遇到空背景帧的情况.因此,要完善算法在空背景帧的自动学习与构建功能[21],在SOBS算法(基于自组织神经网络的背景差分算法)中为了能够取代原有算法在学习阶段进行空背景建模,提前加入自动获得空背景的具体特性.重建空背景的本质,就是从视频序列中将静止区域单独提取出来,并更新这样的区域放入到背景模型中.利用对称差分算法来提取运动和静止区域是相对的,可以快速构建出空背景,只要顺利检测出其中的运动区域,那么除此之外的区域就都是静止区域.建立空背景时,要充分考虑算法的时效性,在精确性上面则可以相对灵活,由此确定选取基于帧间差法的对称差分方法.

    利用对称算法计算出图像中的运动区域,根据场景不同,对称差分所选取的帧间间隔值d也不相同.如果场景中的运动情况不够剧烈,那么就可以将值取得偏大一点,可以选4,8.但是对于交通道路车辆检测等情况,则只能选1,2等偏小的帧间间隔值.像素间的颜色距离公式如式(3),其目的是为了对算法进行优化,使其能在RGB空间进行直接运算.

    式(3)中,RGB分别代表颜色分量,对应的下标代表视频和图像的帧数.

    空背景自动提取流程如图 3所示.在进行对称差分时,要设定一个二值化判断门限,使其适应不同的场景,让算法通过自适应得到一个门限值[22].先预设一个相对较小的门限值T0,设前景中像素点在整个图像中的像素点比例为ri,设新的门限值为Ti,由此可以计算出

    在式(4)中,C为一个常数,常规取值为10.通过计算后,当前景的比例超过整个图像的70%以上时,需要适当提高二值化门限值.

    将对称差分之后得出的结果,按照保证每一个小格之内都要有至少300个以上像素点的小格划分原则划分为M×N个小格,如图 4中分割结果所示,如此可以保证算法的准确性和效率.

    当每一个小块f(ij)都能够成功更新,就说明空背景已经成功建立.若出现摄像机数量偏少而导致像素点更新不成功的情况,就需要设置一个学习帧数门限值K,如果超过该值但仍然没有满足每一个小格更新,那么就强制结束学习阶段,由于还存在一定数量的空小格,因而需要使用均值法来进行改进.设空背景模型中小格的运动像素点(mn)占整个小格的比例为β(mn),由此可以得到

  • 传统的背景差分算法大多基于分块或像素利用时间上的差别和空间上的差别来进行前景检测,但是传统的背景模型缺陷较多,大部分都只是关注背景模型构建,想要利用构建的模型将所有表示背景的状态都概括其中.然而场景是复杂多变的,难以真正全部涵盖.特别是运动场景中复杂度会急剧增加,这就要求背景模型几乎能够适应场景中所有可能出现的变化,不能忽略掉空间信息,运动前景所存在的投射阴影也会极大地影响到检测结果,包括摄像机抖动都可能造成传统背景算法失效.要实现复杂环境中运动目标的检测,特别是人脸识别,首要任务是必须要将前景和背景完全分离开来,利用Graph-Cut算法来进行图像分割和处理. Graph-Cut算法属于静态图像分割算法,对于静态图像来说是没有时间信息的,可以按照一定标准将图像的各种基础信息分离出来.该算法原本是进行静态图像的分割算法,其基础模型为

    式(6)中的VE分别代表的是图 5的顶点集合和边的集合.

    图 5中可以看到,原点pq表示的是图像中的像素点,有{pq}∈E. ST则表示虚拟特殊点,设像素点的集合为P,于是有

    除此之外,E还由另外一部分特殊的边T共同组成,有{pT}∈E.

    在式(8)中,C表示领域,由Graph-Cut所构造的能量方程为

    利用该算法能够相对平滑地将差分算法整合在一起,经过传统的背景差分流程获得粗略前景结果后进行平滑过渡,采用Graph-Cut算法进行处理,最后再对图像进行精准分割,Graph-Cut算法差分处理流程如图 6所示.最后对图像进行分割处理,采用形态学图像腐蚀的方式分割,可以在不影响前景区域的前提下去掉很多孤立噪声.

    设被标记为lq=-logP(lqq)的像素点为P(lqq)的概率,图像中端点和像素的权重计算式为

    进一步设像素点之间欧氏距离为dist(·),权重参数为γ,由此可以计算出领域像素的连线权重为

    背景差分算法的传统方式一般要求将相机控制在静止状态,避免图像抖动对最终的检测效果造成不良影响.通过对称差分算法检测出前景区域后,可以进行1SVM(Support Vector Machine)分类训练,从而不断进行前景检测和分类器更新来满足检测场景的动态变化.其具体的流程如图 7所示.

  • 从人的视角来看,阴影区域相对于非阴影区域更暗,但是没有显著的颜色和纹理信息变化.阴影和产生阴影的物体之间在形状和行为上都有明显的相关性,阴影的产生也说明被光线照射的物体不可能是透明的.对于不同的场景,其光的强度和光源位置是不可能事先知道的,且由于反射光或者多个光源、物体的作用,场景中的光照情况会变得非常复杂.本文选取SOBS算法,主要是利用其在亮度变低的情况下颜色不会发生变化的属性.

    设每个像素点Txy都会和向量一一对应,设3×3领域Axy的均值为μxy,其计算公式为

    设领域p(xy)内的3×3点为p(x+my+n),其中的mn∈{0,1,2},像素点(xy)的纹理信息向量为Txy,由此可以得到表示纹理向量取值的计算公式为

    图 8为例,其中的中心点像素值为15,周边领域点均值为10.7,右边纹理向量为Txy,该值为一个相对值,和像素值的绝对值没有直接关系.

    对两个像素点之间的纹理差别进行判断,当两个像素点的向量分量相同时,则两个纹理完全一致.但是由于可能会受到噪声的影响,所以两个纹理存在一定差距也是可接受的,可以将其判断为相同情况.两个像素点纹理距离的计算公式为

    式(14)中,⊕表示异或运算,通过对比运算符左右两边的值来判断其是否一致. 图 9就是利用该计算方法的一个具体实例,通过对比计算可以看出,两个纹理向量有删除不一样的地方,得到纹理茶具Differ=3.

    计算出背景纹理向量与当前纹理向量之间的距离,如果计算的值小于提前设定的值,就认定当前点和背景纹理一致为背景.

  • 为了验证本文算法的效果,基于该算法进行相应的人脸识别检测系统设计,并利用该系统进行人脸运动图像的分割检测应用,从而实现对运动中人的检测识别.本文设计的系统在不同场景中进行布置,包括了室内、交通出入口等公共场所(图 10).

    该系统使用网络摄像机来进行视频数据采集,利用TCP/IP(传输控制协议/英特网互联网协议)网络将采集到的视频图像上传到处理主机.在系统中增添一个视频帧缓冲模块,保证差分系统的正常运行,减少延迟情况.系统的关键在于背景差分模块,这是可以实现每帧图像运动区域检测功能的重要模块.经过算法处理后的结果与原来的视频进行对比分析,其中运动目标为白色像素点,黑色则是背景.背景差分检测出来后,需要将运动的人进行检测和分割,将每一个Blob和每一个行人进行对应,并对其进行跟踪以保证最后检测的准确性.在行人拥挤的情况下,就可以利用分割算法来得到每一个连通区域的Blob.

  • 对采集到的视频图像进行算法处理后的结果见图 11.无论是室内还是室外都能够准确提取到行人的轮廓,做到面部识别.空背景的提取和重建效果较好,可以看出本文算法十分有效.根据目前设定的采帧速度为25帧/s,通过优化后的算法2 s左右就能够得到空背景.从图 11中可以看出,无论是相对静止的环境还是处于运动变化的场景,都能够顺利提取运动区域和其中的人形轮廓.

    对本文的测试进一步分析可知,在没有达到学习帧上限时会结束空背景提取算法.通过对场景的分析研究可以看出,这是由于场景中风的影响让树木随之晃动,致使系统对静止区域的检测产生了一定的影响,在这种情况下只要能够准确识别出人体即可,但同时也说明对于系统构建模型速度产生影响的正是我们所不需要的区域,可以忽略这部分区域以提高算法速度.从不同角度进行阴影检测效果可以看出,本文系统的阴影查全率和查准率指标都较好,在一定程度上说明优化后的算法具有较好的阴影消除效果.

    选取3组测试视频录像文件进行不同环境下的人脸识别,计算不同识别算法系统的准确度(表 1).其中,A组是一个相对简单的环境,人员数量较好,能够很容易分割出背景环境和人物,实现人脸的准确识别. B组的环境相对复杂,人员数量更多一点. C组的环境最为复杂,背景环境也在变化,视频录像中的人员也是最多.通过对比传统的人脸识别算法和改进优化后的人脸识别算法系统的准确度可以看出,改进优化后的算法对3个测试组都能够有很好的识别效果,其准确率分别是97.2%,94.8%,90.2%.由此可见,改进优化后的人脸识别算法在相对复杂的情况下,也能够准确进行人体和人脸识别,算法保持着较好的鲁棒性.

  • 背景差分算法的种类较多,其特点也各不相同,传统背景差分算法对运动目标的检测效果相对较差,难以准确识别复杂环境下行人的运动状态和人脸识别.本文基于对称差分算法进行运动环境下人脸识别的算法改进和优化.在进行空背景的提取中,利用SOBS算法实现算法的自动学习,Graph-Cut算法实现图像的分割处理,并通过1SVM分类训练了优化背景差分流程.基于本文的优化算法进行识别检测系统设计,将其具体应用到不同场景和环境中,通过检测结果可以看出,无论是何种变化的环境,该算法都能够进行快速识别,并能够顺利提取出运动区域和人员行走时的轮廓.进一步利用A,B,C这3个不同环境下的测试,验证了改进优化后的算法对3个测试组都能够有很好的识别效果,其准确率分别是97.2%,94.8%,90.2%.综合测试可以看出,本文算法能够实现既定的各项功能目标,可以快速地人脸识别和检测,具有很好的鲁棒性.但是本文的研究中,对于人脸识别没有进行人脸特征识别,还需要进一步优化来实现人脸识别和人物信息的对比分析.

参考文献 (22)

目录

/

返回文章
返回