Search Advanced

Message Board

Dear readers, authors and reviewers,you can add a message on this page. We will reply to you as soon as possible!

2020 Volume 45 Issue 7
Article Contents
Previous Article Next Article

Xue-mei ZHOU, Duo PAN. A Fast License Plate Detection Algorithm Based on Morphological Structural Elements Optimization[J]. Journal of Southwest China Normal University(Natural Science Edition), 2020, 45(7): 130-136. doi: 10.13718/j.cnki.xsxb.2020.07.017
Citation: Xue-mei ZHOU, Duo PAN. A Fast License Plate Detection Algorithm Based on Morphological Structural Elements Optimization[J]. Journal of Southwest China Normal University(Natural Science Edition), 2020, 45(7): 130-136. doi: 10.13718/j.cnki.xsxb.2020.07.017
shu

A Fast License Plate Detection Algorithm Based on Morphological Structural Elements Optimization

  • Department of Information Engineering, Sichuan Technology and Business College, Dujianngyan Sichuan 611830, China

More Information
  • Received Date: 14/05/2019
    Available Online: 20/07/2020

  • MSC: TP391.41

  • License plate detection (LPD) is an important part of automatic license plate recognition system (ALPRS). In order to improve the accuracy of license plate detection and reduce the detection time, a fast license plate detection algorithm based on the morphological structural elements optimization has been proposed. The algorithm first preprocesses the detected image, and then uses the morphological Top-hat transform based on the comparison of the internal structural elements (SE) of the gray image to highlight the license plate area, reduces background interference by threshold of maximum inter-class variance, filters discontinuous salt and pepper noise by morphological opening and closing operations. Finally detecting the license plate area by contour detection and geometric conditions. In order to adapt to various types of license plate shape, the SE parameters of three morphological operations have been optimized in this paper. The experimental results show that the detection accuracy and detection time of this method are better than other license plate detection methods.
  • 加载中
  • [1] DORBE N, JAUNDALDERS A, KADIKIS R, et al. FCN and LSTM Based Computer Vision System for Recognition of Vehicle Type, License Plate Number, and Registration Country[J]. Automatic Control and Computer Sciences, 2018, 52(2): 146-154. doi: 10.3103/S0146411618020104

    CrossRef Google Scholar

    [2] MANIKANDAN M, PARANTHAMAN P, AADITHIYA B N, et al. Detection of Calcification Form Mammogram Image Using Canny Edge Detector[J]. Indian Journal of Science and Technology, 2018, 11(20): 1-5.

    Google Scholar

    [3] 赵莉, 白猛猛, 雷松泽, 等.深度学习在车牌定位中的研究[J].计算机应用研究, 2018, 35(10): 3142-3146. doi: 10.3969/j.issn.1001-3695.2018.10.061

    CrossRef Google Scholar

    [4] 薛文俊, 谢淑翠, 王至琪.基于层次化字典学习的图像超分辨率方法[J].计算机工程与设计, 2019, 40(2): 488-491.

    Google Scholar

    [5] JIANG F, HAO Z H, LIU X R, et al. Deep Scene Text Detection with Connected Component Proposals[J]. arXiv: Computer Vision and Pattern Recognition, 2017, 8(3): 1-10.

    Google Scholar

    [6] SILVA S M, JUNG C R. License Plate Detection and Recognition in Unconstrained Scenarios[M]//Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018.

    Google Scholar

    [7] 郑楷鹏, 郑翠环, 郭山红, 等.基于色差的车牌快速定位算法研究[J].计算机应用与软件, 2017, 34(5): 195-199. doi: 10.3969/j.issn.1000-386x.2017.05.034

    CrossRef Google Scholar

    [8] ASTAWA I, GUSTI NGURAH BAGUS CATURBAWA I, MADE SAJAYASA I, et al. Detection of License Plate Using Sliding Window, Histogram of Oriented Gradient, and Support Vector Machines Method[J]. Journal of Physics Conference Series, 2018, 953: 012062. doi: 10.1088/1742-6596/953/1/012062

    CrossRef Google Scholar

    [9] RAFIQUE M A, PEDRYCZ W, JEON M. Vehicle License Plate Detection Using Region-based Convolutional Neural Networks[J]. Soft Computing, 2018, 22(19): 6429-6440. doi: 10.1007/s00500-017-2696-2

    CrossRef Google Scholar

    [10] 刘智.基于改进自适应图像分割算法的车牌识别技术研究[J].西南师范大学学报(自然科学版), 2017, 42(5): 28-33.

    Google Scholar

    [11] HUO M X, LI J Y. The License Plate Recognition System Based on Improved Algorithm[J]. IOP Conference Series: Materials Science and Engineering, 2017, 231: 1-10.

    Google Scholar

    [12] WANG Y J, ZHAO C P, LIU X Y, et al. Fast Cartoon-Texture Decomposition Filtering Based License Plate Detection Method[J]. Mathematical Problems in Engineering, 2018(3): 1-9.

    Google Scholar

    [13] ASIF M R, CHUN Q, HUSSAIN S, et al. Multinational Vehicle License Plate Detection in Complex Backgrounds[J]. Journal of Visual Communication and Image Representation, 2017, 46: 176-186. doi: 10.1016/j.jvcir.2017.03.020

    CrossRef Google Scholar

  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(8)  /  Tables(2)

Export Citation
PDF
XML

Article Metrics

Article views(513) PDF downloads(3) Cited by(0)

Access History

Other Articles By Authors

A Fast License Plate Detection Algorithm Based on Morphological Structural Elements Optimization

  • Received Date: 14/05/2019
  • Available Online: 20/07/2020

Abstract: License plate detection (LPD) is an important part of automatic license plate recognition system (ALPRS). In order to improve the accuracy of license plate detection and reduce the detection time, a fast license plate detection algorithm based on the morphological structural elements optimization has been proposed. The algorithm first preprocesses the detected image, and then uses the morphological Top-hat transform based on the comparison of the internal structural elements (SE) of the gray image to highlight the license plate area, reduces background interference by threshold of maximum inter-class variance, filters discontinuous salt and pepper noise by morphological opening and closing operations. Finally detecting the license plate area by contour detection and geometric conditions. In order to adapt to various types of license plate shape, the SE parameters of three morphological operations have been optimized in this paper. The experimental results show that the detection accuracy and detection time of this method are better than other license plate detection methods.

    HTML

  • 随着现代社会交通系统的迅猛发展，智能交通系统日益呈现出便捷有效方面的优势.车牌自动识别系统(Automatic License Plate Recognition System，ALPRS)是现代智能交通控制中一个重要的组成部分，它广泛应用在车辆管理和交通流量监控领域，还包括停车、门禁、边境管制、被盗车辆监控等方面[1].车牌识别是一项采用车牌检测识别车辆信息的图像处理技术，利用图像处理和模式识别技术进行的车牌检测[2](License Plate Detection，LPD)是车牌自动识别系统的关键步骤之一，车牌区域检测的准确与否直接影响到车牌自动识别系统的准确率和整体性能.鉴于车牌检测的重要性，目前已有很多研究人员投身这一热点问题，并取得了卓有成效的成果.

    目前，研究人员已经提出不同的车牌检测方法，大致可以分为两种，分别是基于车牌显著特征的检测和基于机器学习的检测[3].基于车牌显著特征的检测根据所采用的特征可以分为边缘检测[4]、全局图像信息[5]、纹理特征[6]和颜色特征[7]几类LPD方法.边缘检测算法通常在图像中寻找所有的矩形，然后利用已知的矩形长宽比来判断车牌区域.颜色特征方法则是利用车牌文本的形状和颜色与背景颜色的差异来检测车牌号码.该类算法复杂性小，得到广泛的使用，但是遇到复杂背景时检测率会降低.基于机器学习的检测根据分类器可以分为支持向量机[8]、卷积神经网络[9]以及Adaboost[10]等方法.该类方法可以在一定程度上降低环境的限制，适用于复杂背景的检测，但是需要大量的样本训练网络，计算复杂，时间开销大.为了将车牌检测应用于实时监测，在提高准确率的同时降低计算时间，文献[11]首先采用边缘检测和形态算法对车牌进行检测，然后利用Radon变换对选定的全局阈值采用二值化处理，消除干扰，在较短的时间内获得高精度的车牌定位.文献[12]提出了一种基于卡通-纹理分解的快速车牌检测方法，通过结合形态滤波和Radon变换有效消除背景干扰，抑制假车牌的产生，由于算法没有内环迭代，使得检测速度加快.文献[13]将车辆视为由多个部件组成，通过检测车辆尾灯来减少图像处理区域，降低检测时间，然后采用柱状图方法定位车牌位置，提高检测精度.

    为了提高车牌检测准确率和降低检测时间，本文提出一种基于形态学运算的车牌检测算法，该算法不采用传统的基于矩阵乘法的边缘检测方法，而是基于灰度图像内部结构元素比较的形态学顶帽变换运算(Top-hat Operation)，与现有方法相比检测速度更快.该算法突出车牌区域，并与背景进行对比，从而简化检测过程.形态学操作采用结构元素SE来检测和比较图像中的形状，因此本文通过设计一种灵活的SE参数优化算法，快速有效地检测出图像中适当的结构轮廓，提高识别算法的准确率.为了验证方法的有效性，本文采用国立雅典理工大学的汽车数据库进行测试.该汽车数据库由571幅图像组成，具备多个分辨率图像，这些图像根据不同的标准(距离、光照、阴影等)分为8组.

1.   基于形态学结构元素的车牌检测方法

  • 本文提出的方法是基于形态学SE优化考量的车牌检测方法，该方法可分为两个操作阶段：形态学结构元素的LPD算法和SE参数优化.

    数学形态学是一种用于处理几何结构的技术，由一组运算符组成，运算符根据图像的几何特征(包括大小、形状、凹凸度、连接性等)对图像进行变换.

    对于数学形态学中的开操作和闭操作可以定义为

    其中，f表示输入图像，b表示结构元素，Θ表示侵蚀操作，⊕表示膨胀操作.开操作表示图像被SE侵蚀后的膨胀，闭操作表示图像被SE膨胀后的侵蚀.

    • 1.1.   车牌检测算法

  • LPD算法可分为4步，首先预处理将原始彩色图像转换为灰度图像，调整图像的大小；然后通过Top-hat变换增强车牌区域，并且采用最大类间方差(Otsu)方法进行阈值化；下一步是使用形态学开操作和闭操作去除背景噪声干扰；最后通过寻找合适的轮廓提取候选车牌区域，利用几何条件进行验证，排除误判.本文提出的车牌检测方法概述如图 1所示.

    从图 1中可以看出，车牌检测流程包括预处理、车牌增强、阈值化、噪声去除、寻找轮廓和根据几何条件定位车牌.预处理包括图像灰度化和尺寸调节.车牌相机捕捉的往往是彩色图像，这些图像由红、绿、蓝3层(RGB)组成.预处理过程是将这些彩色图像经过数学变换形成单一的灰度图像层，然后通过调节图像大小，减少像素数量，提高检测速度.

    对于几何条件，通过轮廓检测器找出车牌候选区域后，利用面积、倾角、比例、宽度和高度几个几何条件可以定位出车牌区域，排除干扰区域.当车牌的外部边界被检测后，还可采用模式分析、统计模型和计算学习进一步验证车牌区域，排除误判现象.

    • 1.2.   SE车牌增强和阈值化

  • 基于灰度图像内部结构元素(Structural Elements，SE)比较的形态学Top-hat变换是从图像中提取元素和细节的形态学运算符，经过Top-hat变换后的图像，检测物的亮度高于其周围环境. Top-hat变换可定义为

    本文Top-hat变换的作用是根据SE中定义的形状和尺寸参数，去除不符合SE的形状，抑制背景噪声，增强车牌区域.由于车牌区域的SE是保持不变的，通过将SE设置为比字符和边界之间的距离稍大一点，达到去除大部分背景的目的.

    SE的水平参数设置为大于字母与车牌上数字字符之间的最大距离，垂直参数设置为大于字符与车牌外边界的最大距离.由于数据库包含许多不同大小的车牌，因此SE参数对检测系统的性能至关重要.因为车牌的形状是矩形，所以用于车牌区域定位的SE形状也定义成矩形.图 2显示了使用适当SE进行Top-hat转换的结果.从图 2中可以看到，大部分的背景细节被删除，同时车牌区域的亮度明显增强.

    阈值化是将阈值界限以下像素定义为0，阈值界限以上的像素定义为1，T为全局阈值，是一个常数.

    本文采用最大类间方差法进行阈值化. Otsu技术是一种自适应的阈值确定方法，主要用于区分两种同质的事物.本文图像转换成灰度图后会呈现黑白像素分布，Otsu技术根据观察到的像素值分布，自动寻找最优阈值进行两类分割.图 2c显示了应用Otsu技术后的二值化图像的结果.从图 2中可以看出，背景噪声大大减少，车牌区域可见，但是还存在一些白色区域，可能会引起误判现象.

    • 1.3.   噪声去除和寻找轮廓

  • 为了消除图 2c中的白色区域，本文设计了一种基于形态学操作的滤波策略，对阈值化的图像先应用形态学的开操作，然后再应用闭操作.两种操作过程中应用的SE尺寸和形状不是随机选择的，而是采用一种算法来确定最佳参数.

    从图 2d中看出，开操作可以去除图像中部分噪声信息，保留车牌字符.图 2e是应用闭操作后的结果，车牌中大部分字符被删除，车牌区域呈现一个大矩形，采用像素连通性方法容易识别获取.

    上述步骤适用于在明亮背景上带有黑色字符的车牌图像.如果是深色背景下白色字符的车牌图像，可以在车牌增强步骤中使用Bottom-hat变换(公式(4))替换Top-hat变换，在噪声去除步骤中滤波策略修改为先进行闭操作，再进行开操作.

    Bottom-hat变换定义为

    去除噪声后的图像由一组白色物体组成，采用轮廓检测方法对白色物体的位置进行识别.轮廓检测技术是一种应用于数字图像轮廓外部边界的检测技术，本文在只有少量白色物体的黑色背景图像中应用轮廓检测技术，可以快速简洁地获取图 3中白色物体的区域位置.图 3b为应用轮廓检测技术的结果，从中可以看出车牌和其他一些额外对象被检测到.

2.   SE参数优化

  • 若车牌大小不同，车牌区域存在阴影、模糊或污垢时，检测过程变得十分困难.图 4给出了车牌区域在检测图像中的不同占比，在车牌检测过程中会遇到车牌区域所占比例不同的图像.因此，寻找适合不同图像比例的最佳SE参数是本文的目标.本文通过设计一个灵活的SE参数优化算法，可以适应多种类型的车牌形态，在保证车牌检测准确率的同时，降低处理时间.

    从不同的数据集中随机选取部分图像创建训练样本集.将选中的图像宽度调整为800像素，通过标记软件对训练图像中的车牌进行手工定位(图 5).手动创建2个矩形框，一个只覆盖车牌上的字符，另一个矩形的大小是车牌的2倍.当LPD算法识别候选车牌时，如果该车牌位于内矩形和外矩形之间，则认为车牌区域被定位成功.

    LPD的训练目标是通过Top-hat变换、开操作和闭操作3个形态学操作寻找合适的SE值满足不同大小和形状的车牌.由于大多数车牌都是矩形，因此将3个形态学操作对应的SE形状均设定为矩形.

    为了提高准确率和降低处理时间，图像分辨率是另一个可以优化的特征.由于低分辨率的图像处理速度更快，所以本文首先将车牌图像调整到低分辨率，然后运行检测算法来定位车牌，最后对图像进行裁剪，删除图像的其余部分，保留车牌区域.

    图 6直观地显示LPD算法优化SE参数(高度和宽度)的流程.首先调整输入图像分辨率，然后创建循环用以优化变量，获取最佳SE值. SE高度参数有2个变量，一个适用于Top-hat变换和闭操作，另一个适用于开操作. SE宽度参数有3个变量，每个形态学操作对应不同的变量.对图像应用车牌检测算法，利用车牌定位结果来优化SE值.当优化算法完成整个循环后，可以获取3种形态学操作对应的SE参数.表 1给出了不同分辨率时3种形态学操作对应的SE值及车牌定位准确率.

3.   实验与结果分析

  • 本文所有实验在一台配置为Intel(R) Core(TM)i7-3840 M CPU @2.70 GHz和8 GB RAM的笔记本电脑上进行，所有测试均在Matlab 2014a环境下实现.采用国立雅典理工大学的LPR汽车数据库进行算法测试，并与其他检测算法进行对比.

    • 3.1.   数据集

  • LPR数据库包含不同背景场景的图像，这些图像显示车辆的前部或后部，数据库存在640×480，800×600，1792×1312等不同分辨率的图像.数据库图像中的车牌宽度占图像宽度的9%~44%.数据集中的文件可分为静态图像和挑战图像.之前的检测算法只使用了数据库中的静态图像.本文为了验证算法的性能，将静图像态和挑战图像都应用于测试中.

    图像数据库包含以下8种不同的情况：

    1) 样本集1(136张图像)：白天彩色图像，车牌区域清晰，白天拍摄

    2) 样本集2(122张照片)：近距离观察，在不太复杂的背景上有大而清晰的车牌区域.

    3) 样本集3(49幅图像)：在车牌区域和背景上有阴影的图像，以及一些光照不均匀的图像.

    4) 样本集4(67幅图像)：日间彩色图像，图像与样本集1相似.

    5) 样本集5(7张图像)：不稳定相机拍摄的模糊图像.

    6) 样本集6(3张图像)：夜间手电筒拍摄的彩色图像.

    7) 样本集7(26幅图像)：车牌上有阴影的复杂图像.

    8) 样本集8(161幅图像)：阴影和脏污车牌的挑战图像.

    • 3.2.   实验结果与分析

  • 为了从准确性方面评估LPD性能，使用了PASCAL标准.根据该准则，每个预测的边界框和真实值边界框都可以表示为

    其中，c为算法检测到的区域，t为真实的车牌区域.本文提出的算法使用所有的样本集进行测试，从准确率(Accuracy)和召回率(Recall)两项指标对本文提出的车牌检测进行评估. 8个样本集的检测准确率和召回率如表 2所示，其中N/A表示不适用.

    如表 2所示，Wang等[12]对样本集1-6中的图像进行算法测试.相比之下，本文算法在所有样本集中取得了更高的精度：所有清晰的图像样本集1-3的准确率和召回率是100%，样本集1-6的准确率是99.58%，召回率是98.97%.还有一些研究人员使用LPR汽车数据库进行车牌检测工作，但是没有按类组进行测试，因此很难对结果进行精细比较.比较车牌定位准确性和检测时间具有一定的意义.

    图 7给出了不同算法的车牌检测准确率，传统形态学车牌检测算法的准确率仅为88.1%，Asif等[13]仅使用571张图片数据库中的452张图片，准确率达到90.37%，Wang等[12]在样本集1-6的准确率为96.90%，本文算法在所有样本集的准确率为98.65%.

    图 8给出了不同算法的车牌检测时间，图 8中的结果是检测分辨率为640×480图像时的平均运行时间.从图 8中可以看出，本文方法的检测时间最快，只需要20.01 ms，其他算法所需时间为26.3~117 ms.

4.   结语

  • 由于LPD在ALPRS中的重要性，本文提出了一种基于形态学结构元素优化的车牌检测算法，降低检测时间和提高车牌检测的准确率. ①预处理阶段，调整图片尺寸. ②通过Top-hat变换和Otsu阈值化，减少背景干扰，突出车牌区域，降低不均匀亮度区域的影响. ③利用形态学开操作和闭操作对不连续的椒盐噪声进行过滤. ④利用轮廓检测和几何条件检测出车牌区域.为了提高算法的适用性，本文给出了一种灵活的SE参数优化算法，满足多种类型的车牌形态检测，并采用LPR车牌图像数据库对算法进行训练和测试.实验结果表明，本文方法即使在处理非常复杂的图像时，其准确率也可以达到98.45%，处理时间为20 ms，在车牌检测准确率、召回率与检测时间方面都要优于其他算法.

Figure (8)  Table (2) Reference (13)

Catalog

    Copyright Journal of Southwest China Normal University(Natural Science Edition)

    Address： Tel：023-68252540，68254576，68254478 E-mail：xbbjb@swu.edu.cn

    Supported by:Beijing Renhe Information Technology Co. Ltd

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return