高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

基于深度学习的草地贪夜蛾自动识别

,  ,  ,  ,  , 

上一篇

下一篇

于业达, 顾偌铖, 唐运林, 等. 基于深度学习的草地贪夜蛾自动识别[J]. 西南大学学报（自然科学版）, 2019, 41(9): 24-31. doi: 10.13718/j.cnki.xdzk.2019.09.004
引用本文: 于业达, 顾偌铖, 唐运林, 等. 基于深度学习的草地贪夜蛾自动识别[J]. 西南大学学报（自然科学版）, 2019, 41(9): 24-31. doi: 10.13718/j.cnki.xdzk.2019.09.004
shu
Ye-da YU, Ruo-cheng GU, Yun-lin TANG, et al. A CNN-Based Automatic Identification System for Spodoptera frugiperda[J]. Journal of Southwest University Natural Science Edition, 2019, 41(9): 24-31. doi: 10.13718/j.cnki.xdzk.2019.09.004
Citation: Ye-da YU, Ruo-cheng GU, Yun-lin TANG, et al. A CNN-Based Automatic Identification System for Spodoptera frugiperda[J]. Journal of Southwest University Natural Science Edition, 2019, 41(9): 24-31. doi: 10.13718/j.cnki.xdzk.2019.09.004
shu

基于深度学习的草地贪夜蛾自动识别

  • 1.

    西南大学 非线性电路与智能信息处理重庆市重点实验室, 重庆 400715

  • 2.

    西南大学 家蚕基因组生物学国家重点实验室, 重庆 400715

  • 3.

    西南大学 微孢子虫感染与防控重庆市重点实验室, 重庆 400715

  • 基金项目: 中央高校基本业务费团队项目（XDJK2018AA001）；家蚕基因组生物学国家重点实验室自设课题（2019-03）；中央高校基本业务费面上项目（XDJK2019C010）
详细信息
    作者简介:

    于业达(1996-), 男, 硕士研究生, 主要从事图像识别及深度学习研究 .

    通讯作者: 潘国庆, 博士, 研究员, 博士生导师;  陈通, 博士, 教授, 博士生导师

  • 中图分类号: Q969.436.5;TP391.412

A CNN-Based Automatic Identification System for Spodoptera frugiperda

  • 1.

    Chongqing Key Laboratory of Nonlinear Circuit and Intelligent Information Processing, Southwest University, Chongqing 400715, China

  • 2.

    State Key Laboratory of Silkworm Genome Biology, Southwest University, Chongqing 400715, China

  • 3.

    Chongqing Key Laboratory of Microsporidia Infection and Control, Chongqing 400715, China

  • 摘要: 草地贪夜蛾是一种严重破坏农作物的重大洲际害虫，对我国农业生产造成了极大的威胁.尽管一系列防治措施已经展开，但如何有效辨别草地贪夜蛾仍然是防控工作中的一大难题.为了建立一个有效的识别算法，课题组开展了一系列研究工作，主要贡献在于：①采集了不同地域、不同生长区间的草地贪夜蛾及相似物种图片，建立了一个草地贪夜蛾识别数据库；②利用基于特征融合的深度学习算法，建立了一个三通道T型深度卷积神经网络（T-CNN），在现有数据集上平均识别率达到97%，为草地贪夜蛾的智能识别与防控工作提供了技术支撑.
    Abstract: Spodoptera frugiperda is a serious crop-destroying pest, which poses a great threat to agricultural production in China. Although a series of preventive measures have been adopted, how to identify the pest effectively is still a major problem in the field. In a study reported in this paper, a series of work was done to establish an effective recognition algorithm. Our main contributions were as follows. First, pictures of S. frugiperda and similar species were collected from different regions, and a recognition database of S. frugiperda was established. Secondly, using a deep-learning algorithm based on feature fusion, we constructed a three-channel T-type deep convolution neural network (T-CNN), whose average recognition rate was over 97% on the existing data sets, thus providing technical support for the smart identification and control of S. frugiperda.
  • 加载中

  • 图 1  T-CNN网络结构图

    下载: 全尺寸图片 幻灯片

    图 2  数据库中部分草地贪夜蛾图片(来自FAO)

    下载: 全尺寸图片 幻灯片

    图 3  草地贪叶蛾幼虫与玉米黏虫形态特征对比(其中图(a)、图(b)来自FAO)

    下载: 全尺寸图片 幻灯片

    图 4  利用数据增强扩充基础数据

    下载: 全尺寸图片 幻灯片

    图 5  各类别草地贪夜蛾的灰度图及梯度图(上灰度下梯度)

    下载: 全尺寸图片 幻灯片

    图 6  T-CNN的混淆矩阵

    下载: 全尺寸图片 幻灯片

    表 1  用于建立草地贪夜蛾形态数据库的图片内容及拍摄来源

    巫山 江津 云阳 FAO 总数
    虫卵 4 4
    幼虫 24 3 2 2 31
    蛹 1 1
    成虫 2 2
    总数 25 3 2 8 38
    下载: 导出CSV

    表 2  拍摄数据集划分

    种类 卵 雌成虫 雄成虫 巫山幼虫 江津幼虫 云阳幼虫 FAO幼虫 非草地贪夜蛾
    数量 30 30 30 30 30 30 30 30
    下载: 导出CSV

    表 3  T-CNN网络参数设置

    T-CNN的网络参数
    通道C1 通道C2 通道C3
    网络层 网络层参数 网络层 网络层参数 网络层 网络层参数
    Input1 (64，64) Input2 (64，64) Input3 (1 764，1)
    Conv1 (96，5，5，2) Flatten1 (4 096，1)
    Pool1 (2，2)
    Conv2 (128，3，3，1)
    Pool2 (2，2) Fc2 (2 048，1) Fc4 (2 048，1)
    Conv3 (256，3，3，1)
    Conv4 (512，3，3，1)
    Pool3 (2，2) Fc3 F2：(1 024，1) Fc5 F3：(1 024，1)
    Flatten (2 048，1)
    Fc1 F1：(1 024，1)
    Concat F4：(3 072，1)
    Fc6 F5：(2 048，1)
    Fc7 F6：(1 024，1)
    Softmax (8，1)
    下载: 导出CSV

    表 4  StratifiedKFold5折交叉验证下T-CNN的识别效果

    %
    第N折 N=1 N=2 N=3 N=4 N=5 平均值
    识别率 97.92 98.12 95.66 96.38 99.22 97.46
    下载: 导出CSV

    表 5  T-CNN的精确率、召回率以及F1分数

    方法 精确率 召回率 F1分数
    T-CNN 0.992 3 0.992 1 0.992 2
    下载: 导出CSV
  • [1] doi: http://pubmedcentralcanada.ca/pmcc/articles/PMC5293267/ CHIANG T Y. Fall Armyworm Migration Across the Lesser Antilles and the Potential for Genetic Exchanges Between North and South American Populations[J]. Plos One, 2017, 12(2):E0171743.1-18.
    [2] UNBEHEND M, HÄNNIGER S, MEAGHER R L, et al. Pheromonal Divergence between Two Strains of Spodoptera Frugiperda[J]. Journal of Chemical Ecology, 2013, 39(3):364-376. doi: 10.1007/s10886-013-0263-6
    [3] NAGOSHI R N, MEAGHER R L. Behavior and Distribution of the Two Fall Armyworm Host Strains in Florida[J]. Florida Entomologist, 2004, 87(4):440-449. doi: 10.1653/0015-4040(2004)087[0440:BADOTT]2.0.CO;2
    [4] 张磊, 靳明辉, 张丹丹, 等.入侵云南草地贪夜蛾的分子鉴定[J].植物保护, 2019, 45(2):19-24, 56. doi: http://d.old.wanfangdata.com.cn/Periodical/zwbh201902005
    [5] 郭井菲, 赵建周, 何康来, 等.警惕危险性害虫草地贪夜蛾入侵中国[J].植物保护, 2018, 44(6):1-10. doi: http://d.old.wanfangdata.com.cn/Periodical/zwbh201806002
    [6] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553):436. doi: 10.1038/nature14539
    [7] SCHMIDHUBER J. Deep Learning in Neural Networks:An Overview[J]. Neural Networks, 2015, 61:85-117. doi: 10.1016/j.neunet.2014.09.003
    [8] NGIAM J. Multimodal Deep Learning[C]//Proceedings of the 28th International Conference on Machine Learning (ICML-11)[EB/OL]. (2011-06-28)[2019-08-03] http://ai.stanford.edu/~ang/papers/icml11-MultimodalDeepLearning.pdf.
    [9] doi: http://d.old.wanfangdata.com.cn/Periodical/bjgydxxb201501009 DENG L. Deep Learning:Methods and Applications[J]. Foundations and Trends in Signal Processing, 2014, 7(3/4):197-387.
    [10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks[C]//NIPS[EB/OL]. (2012-01-01)[2019-08-03] http://xueshu.baidu.com/usercenter/paper/show?paperid=a5a134e176e1689276201a17412a145a&site=xueshu_se.
    [11] LU Y Z. Food Image Recognition by Using Convolutional Neural Networks (CNNs)[EB/OL]. (2016-12-03)[2019-08-03] http://xueshu.baidu.com/usercenter/paper/show?paperid=a5a134e176e1689276201a17412a145a&site=xueshu_se.
    [12] SUZUKI H, MATSUMOTO T, CHUA L O. A CNN Handwritten Character Recognizer[J]. International Journal of Circuit Theory and Applications, 1992, 20(5):601-612. doi: 10.1002/(ISSN)1097-007X
    [13] 郭井菲, 静大鹏, 太红坤, 等.草地贪夜蛾形态特征及与3种玉米田为害特征和形态相近鳞翅目昆虫的比较[J].植物保护, 2019, 45(2):7-12. doi: http://d.old.wanfangdata.com.cn/Periodical/zwbh201902003
    [14] AHMED O. Food Image Recognition by Using Bag-of-SURF Features and HOG Features[C]//International Conference on Human-Agent Interaction[EB/OL]. (2015-10-21)[2019-08-03] http://xueshu.baidu.com/usercenter/paper/show?paperid=a5a134e176e1689276201a17412a145a&site=xueshu_se.
    [15] DIAZESCOBER J, KOBER V. A Robust HOG-Based Descriptor for Pattern Recognition[C]//Applications of Digital Image Processing XXXIX, SPIE[EB/OL]. (2016-08-26)[2019-08-03] http://xueshu.baidu.com/usercenter/paper/show?paperid=3c8fe9b309a20796eac24747e88963bc&site=xueshu_se.
    [16] 罗元, 崔叶, 王艳, 等.基于融合DCT和LBP特征提取的面部表情识别[J].半导体光电, 2014, 35(2):330-333, 349. doi: http://d.old.wanfangdata.com.cn/Periodical/bdtgd201402040
    [17] doi: http://www.cnki.com.cn/Article/CJFDTotal-MOTO201208009.htm LI X D, YANG W D, DEZERT J. An Airplane Image Target 0 s Multi-Feature Fusion Recognition Method[J].自动化学报, 2012, 38(8):1298-1307.
    [18] SUN Q S, ZENG S G, LIU Y, et al. A New Method of Feature Fusion and Its Application in Image Recognition[J]. Pattern Recognition, 2005, 38(12):2437-2448. doi: 10.1016/j.patcog.2004.12.013
    [19] POISOTAS H. Integrated Management of the Fall Army Worm on Maize: A Guide for Farmer Field Schools in Africa[C]. Rome: Food and Agriculture Organization, 2018.
    [20] 杜燕飞, 初梓瑞.人工智能助力草地贪夜蛾防控打赢"虫口夺粮"攻坚战[EB/OL]. (2019-7-18)[2019-8-11]. http://country.people.com.cn/n1/2019/0718/c419842-31243174.html.
  • 加载中
图( 6) 表( 5)
计量
  • 文章访问数:  703
  • HTML全文浏览数:  574
  • PDF下载数:  72
  • 施引文献:  0
出版历程
  • 收稿日期:  2019-08-18
  • 刊出日期:  2019-09-20

基于深度学习的草地贪夜蛾自动识别

    通讯作者: 潘国庆, 博士, 研究员, 博士生导师; 
    通讯作者: 陈通, 博士, 教授, 博士生导师
    作者简介: 于业达(1996-), 男, 硕士研究生, 主要从事图像识别及深度学习研究
  • 1. 西南大学 非线性电路与智能信息处理重庆市重点实验室, 重庆 400715
  • 2. 西南大学 家蚕基因组生物学国家重点实验室, 重庆 400715
  • 3. 西南大学 微孢子虫感染与防控重庆市重点实验室, 重庆 400715
  • 收稿日期:  2019-08-18
基金项目:  中央高校基本业务费团队项目（XDJK2018AA001）；家蚕基因组生物学国家重点实验室自设课题（2019-03）；中央高校基本业务费面上项目（XDJK2019C010）

摘要: 草地贪夜蛾是一种严重破坏农作物的重大洲际害虫，对我国农业生产造成了极大的威胁.尽管一系列防治措施已经展开，但如何有效辨别草地贪夜蛾仍然是防控工作中的一大难题.为了建立一个有效的识别算法，课题组开展了一系列研究工作，主要贡献在于：①采集了不同地域、不同生长区间的草地贪夜蛾及相似物种图片，建立了一个草地贪夜蛾识别数据库；②利用基于特征融合的深度学习算法，建立了一个三通道T型深度卷积神经网络（T-CNN），在现有数据集上平均识别率达到97%，为草地贪夜蛾的智能识别与防控工作提供了技术支撑.

English Abstract

    全文HTML

  • 草地贪夜蛾(Spodoptera frugiperda)是一种危害性极强的鳞翅目害虫，起源于美洲，具有很强的迁飞能力[1].草地贪夜蛾的幼虫以禾本科、豆科等农作物为食，尤为喜食嫩叶，对农作物危害极大.根据草地贪夜蛾对玉米和水稻的偏好性，将其基因型分成了“玉米型”(Corn-Strain)和“水稻型”(Rice-strain)[2].两种亚型的草地贪夜蛾尽管对食物的偏好性有所不同，但它们具有相同的形态学特征[3].

    草地贪夜蛾于2019年初入侵我国云南地区，对当地的农作物造成了严重危害[4].郭井菲等[5]通过测序分析了侵入我国草地贪夜蛾的基因组，发现侵入我国的草地贪夜蛾主要为“玉米型”，也存在着少量的“水稻型”(Rice-strain).草地贪夜蛾能在(11~30) ℃的环境下生长，随着温度的逐渐升高，草地贪夜蛾开始大范围迁移.目前，短短半年时间已扩散蔓延至我国20个省的1 128多个县(市、区)，受害面积约56.7多万hm2.另据2019年7月5日日本共同社报道，草地贪夜蛾已入侵日本，在日本鹿儿岛已经发现草地贪夜蛾.

    如何快速识别草地贪夜蛾，对尽早防治草地贪夜蛾有着至关重要的作用.深度学习[6-9]的出现推动了人工智能新的浪潮，其优势在图像识别领域发挥得淋漓尽致.深度学习的手段依靠深度卷积神经网络[7, 10-12]逐层提取图片的高级特征，并利用特有的多任务分类器Softmax进行分类，对于图像识别具有很好的效果.因此，本文首先建立包含不同地域草地贪夜蛾的图像数据库，然后根据草地贪夜蛾幼虫头部均具有“Y”字纹，尾部有4个呈正方形排列黑点的特佂[13]，设计了三通道T型深度卷积神经网络T-CNN(Convolutional Neural Network，CNN)来自动识别草地贪夜蛾，识别率达到97%.本文提出的识别算法有助于对草地贪夜蛾进行快速准确地识别，为草地贪夜蛾防控和预报提供了重要的技术储备.

1.   材料与方法

    1.1.   样本材料

  • 由于目前没有公开的草地贪夜蛾数据库，为此本文首先建立了用于算法开发和验证的草地贪夜蛾数据库(Southwest University Spodoptera frugiperda database，SWU-SF database). SWU-SF数据库包含38张不同地域拍摄的草地贪夜蛾图片，如表 1所示.其中25张拍摄于重庆巫山，幼虫24张，蛹1张；3张拍摄于重庆江津，均为幼虫，2张拍摄于重庆云阳，同样均为幼虫，剩余8张均来自联合国粮食及农业组织(Food and Agriculture Organization of the United Nations，FAO)，包含4张虫卵，2张幼虫以及2只不同性别的成虫. SWU-SF数据库同时采集了17张玉米黏虫的图片，这些幼虫与草地贪夜蛾的幼虫极为相似，但不具备草地贪夜蛾的经典形态特征.

    表 1概述了草地贪夜蛾的拍摄地域分布情况.为使识别算法更具鲁棒性，数据库中的草地贪夜蛾均是从不同角度进行随机活体拍摄(不固定草地贪夜蛾的形态)完成，这样使得识别过程更接近于真实的应用场景.

    • 1.2.   识别方法

    1.2.1.   图像预处理

  • 首先对拍摄的图片进行分类：卵、成虫和部分幼虫来自FAO，故没有区域属性分类，划分为卵、雌成虫、雄成虫3类；幼虫采自4个不同地域，故划分为4类；非草地贪夜蛾作为独立的1类.数据集最后划分为8类，并将每类图片通过随机复制的方式将数量归一化至30张，得到基础数据库如表 2所示.识别算法的任务是将数据库中任意一张图片自动识别成这8类数据中的1类.

    基础数据库的图片数量较少，无法有效地进行模型训练，因此我们将基础数据库在灰度图的基础上进行了3种方式的数据增强，并在数据增强的基础上，对每张灰度图片进行了梯度转换.为了进一步增强训练集特征的丰富性，使得模型达到更好的效果，课题组同时提取了灰度图片的HOG(梯度直方图)特征，并与梯度图一起作为后面特征融合的重要特征.

    • 1.2.2.   深度卷积神经网络

  • 本文建立了一个三通道的深度学习网络T-CNN(图 1)，整个T-CNN由3个输入层(Input1-Input3)同时输入，主体结构C1由4个卷积层(Conv1-Conv4)，3个池化层(Pool1-Pool3)，1个拉伸层(Flatten1)，3个全连接层(Fc1，Fc6，Fc7)，1个特征融合层(Concat)以及1个Softmax分类层组成.其中，卷积层的作用是提取局部感受视野中图片的高级特征；池化层的作用在于对卷积运算得到的图片进行下采样，使得特征更为抽象；映射层与全连接层则是为了特征的降维.在主体结构的基础上，加入了另外2个分支结构梯度通道(Grad-Channel，C2)和HOG通道(HOG-Channel，C3)，Grad-Channel由1个映射层(Flatten2)与2个全连接层(Fc2，Fc3)组成，HOG-Channel由2个全连接层(Fc4，Fc5)组成.网络的具体参数如表 3所示.

    由表 3可知，T-CNN分别以灰度图、梯度图以及HOG特征作为输入.网络主体结构C1的输入为64×64大小的灰度图片，经过一系列的卷积池化操作在Fc1层得到1 024×1的特征向量F1. Grad-Channel(C2)的输入为64×64大小的梯度图片，利用映射层Flatten 2将图片展平为4 096×1的向量形式，通过两层全连接层Fc2，Fc3降维至1 024×1大小得到F2. HOG-Channel(C3)直接输入大小为1 764×1的HOG[14-15]特征向量，利用全连接层Fc4先映射成2 048×1大小的向量形式，再利用Fc5同样降维至大小为1 024×1的一维特征向量F3.

    特征融合[16-18]工作是由融合层Concat完成的，通过将F1，F2以及F3级联融合得到大小为3 072×1的融合向量F4，利用全连接层Fc6，Fc7降维至1 024×1后送入Softmax进行8分类.

2.   结果与分析

    2.1.   数据库图片的收集整理

  • 图 2给出数据库中部分来自FAO的草地贪夜蛾图片[19].由图 2可见，草地贪夜蛾处于不同的形态，且拍摄角度也各不相同.

    真实场景中草地贪夜蛾的自动识别需要从各种与草地贪夜蛾相似的昆虫中做出有效识别，为此数据库中包含17张玉米黏虫的图片.这些黏虫具有与草地贪夜蛾极为相似的头部或花纹特征.如图 3所示.

    图 3(a)、图 3(b)是来自FAO的草地贪叶蛾幼虫图片[20]，我们以红色圆圈标出了头部与身体的花纹特征，可以看出草地贪叶蛾头部具有“Y”型纹，而尾部上具有较为明显的正方形黑点排列. 图 3(c)中的黏虫头部具有类似“Y”型的“八”字纹，图 3(d)中的黏虫身体上有浅色排列的黑点，并且这些黏虫的照片也是从不同角度进行随机活体拍摄，以保证识别算法的鲁棒性.

    • 2.2.   数据处理结果及分析

  • 数据增强的结果如图 4所示(以重庆云阳数据为例).第1种基于图片4个边角进行了随机裁剪，增强4倍.第2种在裁剪的基础上随机向左或向右将图片进行旋转，增强2倍.第3种则是将前面所得图片进行翻转，增强2倍.完成这些数据增强操作之后，每类得到480张灰度图片. 图 5则是进行梯度转换后的结果，第1行(按照表 2中顺序)的8张图片为每个种类中随机选取的1张灰度图片，第2行是对应的梯度图片，梯度图片更好地显示了不同状态及地域草地贪夜蛾的纹理特征.

    本文采用StratifiedKFold5折交叉验证的原理，保证训练集与测试集均包含全部类别的数据，利用T-CNN对数据集进行了训练测试. 表 4给出了相应的识别率，由表 4可以看出，每一折交叉验证的识别率均在95%以上，平均识别率达到97.31%，最高达到99.22%.本文研究的是8分类，处于不同地域和不同生长时期的草地贪夜蛾数据，对现有的草地贪夜蛾具有较好的识别效果，利用本文提出的T-CNN模型可以有效地对草地贪夜蛾进行辨别，并及时展开预防工作.

    为了进一步验证T-CNN模型的性能，本文计算了T-CNN的精确率、召回率以及F1分数(表 5).此外，图 6给出了T-CNN的混淆矩阵，混淆矩阵是衡量模型性能的重要标准，混淆矩阵越集中，表示误判率越小，模型性能越好. 表 5与图 6的结果表明，T-CNN是初步辨别草地贪夜蛾的有效算法.

3.   讨论

  • 草地贪叶蛾对世界范围的粮食作物造成了极大的危害，它作为一种入侵害虫，很容易与当地一些害虫如玉米黏虫混淆，造成防治时间上的延误，因此建立草地贪夜蛾的自动识别数据库和识别程序非常重要.本文以草地贪夜蛾的自动识别为研究目标，及时就近采集不同地域与不同生长区间的草地贪夜蛾幼虫，结合来自于联合国粮食与农业组织(FAO)的若干图片数据，建立了西南大学草地贪夜蛾识别数据库.经过随机裁剪、随机旋转、镜像3种形式的数据增强后，利用三通道T型深度卷积神经网络T-CNN对数据进行分类，平均识别率达到97%.

    深度学习的一个明显优势在于训练集数据的增加会大大提升模型的准确率及鲁棒性，由于草地贪叶蛾准确标记的数据较少，课题组将继续进行草地贪叶蛾数据采集，同时在T-CNN的基础上对各个平台采集到的疑似草地贪叶蛾图片进行分类，将分类正确的结果作为训练集数据的更新，基于更新后的草地贪夜蛾数据，对T-CNN模型进行进一步学习训练.此外，课题组将会把T-CNN开发成一款新的实时识别平台，以针对全国范围内的草地贪叶蛾进行监控、数据采集、训练及分类工作.

    在本研究开展期间据人民网报道，北京普惠三农科技有限公司开发出了“很准识蛾”应用工具，识别率达到92%，可以针对卵、幼虫、成虫进行有效识别[20].目前，我们开发的数据库平均识别率虽然达到97%，但还需要进一步的田间应用加以完善.

参考文献 (20)

目录

版权所有：西南大学学报（自然科学版）

地址：重庆市北碚区西南大学 电话：023-68254576, 68252540, 68366165,68366917 电子邮箱：lkxb@swu.edu.cn

本系统由北京仁和汇智信息技术有限公司开发

/

返回文章
返回