高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

基于灰度积分投影的牧草高度检测算法

,  ,  , 

上一篇

下一篇

陈子为, 朱美吉, 陈龙, 等. 基于灰度积分投影的牧草高度检测算法[J]. 西南师范大学学报(自然科学版), 2021, 46(6): 126-132. doi: 10.13718/j.cnki.xsxb.2021.06.019
引用本文: 陈子为, 朱美吉, 陈龙, 等. 基于灰度积分投影的牧草高度检测算法[J]. 西南师范大学学报(自然科学版), 2021, 46(6): 126-132. doi: 10.13718/j.cnki.xsxb.2021.06.019
shu
CHEN Zi-wei, ZHU Mei-ji, CHEN Long, et al. Floor Height Measuring Algorithm for Forage Based on Gray Integral Projection[J]. Journal of Southwest China Normal University(Natural Science Edition), 2021, 46(6): 126-132. doi: 10.13718/j.cnki.xsxb.2021.06.019
Citation: CHEN Zi-wei, ZHU Mei-ji, CHEN Long, et al. Floor Height Measuring Algorithm for Forage Based on Gray Integral Projection[J]. Journal of Southwest China Normal University(Natural Science Edition), 2021, 46(6): 126-132. doi: 10.13718/j.cnki.xsxb.2021.06.019
shu

基于灰度积分投影的牧草高度检测算法

  • 成都信息工程大学 电子工程学院，成都 610225

  • 基金项目: 四川省教育厅科学研究重点项目(18ZA0088)
详细信息
    作者简介:

    陈子为，副教授，硕士，主要从事现代农业装备与技术、图像处理、嵌入式系统等研究 .

  • 中图分类号: TP391.4; S54

Floor Height Measuring Algorithm for Forage Based on Gray Integral Projection

  • College of Electronic Engineering, Chengdu University of Information Technology, Chengdu 610225, China

  • 摘要: 观测范围内牧草的整体高度(层高)是牧草长势群体特征中一个关键指标.针对现有牧草高度自动检测方法不能测量层高，而且普遍存在操作复杂、实时性差、适用性不强等问题，本文提出了一种基于灰度积分投影对牧草层高进行无损、远程、连续定量测量的方法.首先利用自然条件下牧草颜色恒定性的特征对牧草进行分割，然后采用灰度积分投影得到牧草高度，最后利用相机标定的结果将其转换成实际的高度值.实验结果表明，该方法测得的结果与人工检测的平均相对误差为2.9%，与生物量的皮尔森相关系数为0.843，该算法简捷实用、易于实现、实时性高，测量准确性符合牧草长势自动化监测的要求.
    Abstract: The overall height of forage in the observation range, i.e. floor height, is key parameters in the population characteristics of forage growing situation. In view of unmeasurable floor height and operation complexity, bad real-time capability, poor applicability in the current automatic height measurement method of forage, a novel floor height measuring quantitative algorithm for forage based on gray integral projection was proposed, which was non-destructive, remote and continuous. In this paper, forage was firstly segmented on the basis of color constancy under natural conditions, and then the vertical coordinates of forage height were obtained with gray integral projection to forage area. Finally, the results of camera calibration were used to convert it into the actual height value, so as to realize the measurement of forage height. The average relative error between the results measured by this method and manual detection was 2.9%, and the Pearson correlation coefficient between this method and aboveground biomass was 0.843. The experimental results show that the algorithm was simple and real-time, and the measurement accuracy met the needs of automatic monitoring of forage growth.
  • 加载中

  • 图 1  采集的原始图像

    下载: 全尺寸图片 幻灯片

    图 2  算法流程图

    下载: 全尺寸图片 幻灯片

    图 3  RGB颜色空间模型

    下载: 全尺寸图片 幻灯片

    图 4  二值化图

    下载: 全尺寸图片 幻灯片

    图 5  绿色像素点数量的变化曲线

    下载: 全尺寸图片 幻灯片

    图 6  滤波后的二值化图

    下载: 全尺寸图片 幻灯片

    图 7  草的高度曲线图

    下载: 全尺寸图片 幻灯片

    表 1  牧草高度测量实验结果

    样本序号 植株实际高度/cm 层高
    测量高度/cm 相对误差/%
    1 30 30 0.0%
    2 50 48 4.0%
    3 25 25.1 0.4%
    4 41 39.5 3.7%
    5 35 35.2 0.6%
    6 40 38.7 3.2%
    7 18 18.4 2.2%
    8 20 20.6 3.0%
    9 23 23.4 1.7%
    10 38 37.5 1.3%
    11 44 41.1 6.6%
    12 70 64.5 7.9%
    平均值 2.9%
    下载: 导出CSV

    表 2  Pearson相关性分析结果

    牧草高度测量算法 牧草生物量
    牧草高度测量算法 皮尔森相关系数 1 0.843
    置信度(双尾) 0.158
    N 12 12
    牧草生物量 皮尔森相关系数 0.843 1
    置信度(双尾) 0.158
    N 12 12
    下载: 导出CSV
  • [1] 张雪芬, 薛红喜, 孙涵, 等. 自动农业气象观测系统功能与设计[J]. 应用气象学报, 2012, 23(1): 105-112. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-YYQX201201016.htm
    [2] 何姣. 基于双波段图像的农作物自动观测技术研究[D]. 成都: 成都信息工程大学, 2015.
    [3] 王秀芳. 主要农作物生长特征参数自动化观测技术研究[D]. 成都: 成都信息工程大学, 2012.
    [4] 杭立, 车进, 宋培源, 等. 基于机器学习和图像处理技术的病虫害预测[J]. 西南大学学报(自然科学版), 2020, 42(1): 134-141. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-XNND202001020.htm
    [5] 李长缨, 滕光辉, 赵春江, 等. 利用计算机视觉技术实现对温室植物生长的无损监测[J]. 农业工程学报, 2003, 19(3): 140-143. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-NYGU200303034.htm
    [6] 刘洪见, 郑丽敏, 曾爱平. 图像处理技术在提取玉米图像骨架上的应用[J]. 农业网络信息, 2007(1): 18-21. doi: 10.3969/j.issn.1672-6251.2007.01.006
    [7] 齐华山. 基于机器视觉的株型参数测量方案设计与实现[D]. 北京: 北京工业大学, 2008.
    [8] 重阳, 陈子为, 黄启宏, 等. 牧草观测装置及系统: 2017211985190[P]. 2017-09-18.
    [9] 何晶. 基于图像处理的株高无损测量方法研究[J]. 测控技术, 2015, 34(4): 39-42. doi: 10.3969/j.issn.1000-8829.2015.04.011
    [10] 蒋普, 耿楠. 基于网络摄像机的株高远程无损测量系统[J]. 农机化研究, 2015, 37(4): 68-72. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-NJYJ201504017.htm
    [11] doi: http://www.sciencedirect.com/science/article/pii/S0952197697000791 BULUSWAR S D, DRAPER B A. Color Machine Vision for Autonomous Vehicles[J]. Engineering Applications of Artificial Intelligence, 1998, 11(2): 245-256.
    [12] 张志斌, 罗锡文, 臧英, 等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报, 2011, 27(7): 183-189. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-NYGU201107035.htm
    [13] 黄毅英, 黄河清. 基于自适应布谷鸟搜索算法的Tsallis熵阈值图像分割[J]. 西南师范大学学报(自然科学版), 2020, 45(5): 127-133. doi: http://xbgjxt.swu.edu.cn/article/doi/10.13718/j.cnki.xsxb.2020.05.021
    [14] ANDREAS K, MONGGI A. 彩色数字图像处理[M]. 章毓晋, 译. 北京: 清华大学出版社, 2010: 49-53.
    [15] 邓小亚. 基于RGB颜色空间的视频运动目标检测[J]. 西南师范大学学报(自然科学版), 2019, 44(3): 119-123. doi: http://xbgjxt.swu.edu.cn/article/doi/10.13718/j.cnki.xsxb.2019.03.020
    [16] doi: http://dl.acm.org/citation.cfm?id=1663665.1664076&coll=DL&dl=GUIDE&CFID=358225394&CFTOKEN=59827212 BURGOS-ARTIZZU X P, RIBEIRO A. Analysis of Natural Images Processing for the Extraction of Agricultural Elements[J]. Image and Vision Computing, 2010, 28(1): 138-149.
    [17] 张军, 张彩琴, 李茜若, 等. 内蒙古典型草原牧草生物量与气象因子的灰色关联优势分析[J]. 干旱区资源与环境, 2016, 30(4): 138-143. doi: https://www.cnki.com.cn/Article/CJFDTOTAL-GHZH201604024.htm
  • 加载中
图( 7) 表( 2)
计量
  • 文章访问数:  701
  • HTML全文浏览数:  701
  • PDF下载数:  89
  • 施引文献:  0
出版历程
  • 收稿日期:  2020-09-15
  • 刊出日期:  2021-06-20

基于灰度积分投影的牧草高度检测算法

    作者简介: 陈子为，副教授，硕士，主要从事现代农业装备与技术、图像处理、嵌入式系统等研究
  • 成都信息工程大学 电子工程学院，成都 610225
  • 收稿日期:  2020-09-15
基金项目:  四川省教育厅科学研究重点项目(18ZA0088)

摘要: 观测范围内牧草的整体高度(层高)是牧草长势群体特征中一个关键指标.针对现有牧草高度自动检测方法不能测量层高，而且普遍存在操作复杂、实时性差、适用性不强等问题，本文提出了一种基于灰度积分投影对牧草层高进行无损、远程、连续定量测量的方法.首先利用自然条件下牧草颜色恒定性的特征对牧草进行分割，然后采用灰度积分投影得到牧草高度，最后利用相机标定的结果将其转换成实际的高度值.实验结果表明，该方法测得的结果与人工检测的平均相对误差为2.9%，与生物量的皮尔森相关系数为0.843，该算法简捷实用、易于实现、实时性高，测量准确性符合牧草长势自动化监测的要求.

English Abstract

    全文HTML

  • 随着牧业科学技术的飞速发展，牧业已进入了一个以高产、优质、高效、生态、安全为发展方向的新阶段，牧业对气象服务提出了更高的要求.现代牧业的发展迫切需要时效更快、内容更多、水平更高、针对性更强的牧业气象服务产品，牧草观测技术作为牧业气象分支之一，获取高精度、高密度、多要素、连续稳定的牧草观测信息势在必行.

    国内外学者对农业气象自动化观测进行了较深入的研究，但大都集中在农田杂草识别、病虫害控制等方面，主要实现了对小麦、玉米、水稻、棉花等农作物的关键发育期、盖度、密度、高度等参数的自动化监测[1-4].例如2003年李长缨等[5]利用单目视觉技术得到单株黄瓜幼苗叶冠投影面积和株高，与人工测量结果的相关关系达到0.927；2007年刘洪见等[6]利用图像处理技术提取玉米植株的株型骨架，计算出株高、叶长、茎叶角等玉米株形特征；随后齐华山[7]在实验室环境下采用线性标定法，通过图像处理技术完成了单株玉米植株的株高、叶片长度的机器测量.

    而对草原地区的牧草的自动化观测研究较少，当前的牧草观测技术、手段、时效、内容以及观测站点密度等远不能满足现代牧业气象业务和服务发展的要求，牧草观测自动化程度低.目前牧草观测仍以人工方式为主，劳动强度大，费时费力，主观性较大，牧草观测精度有限，可比性不强.由于观测人员的专业素质、熟练程度、观测习惯和责任心等不同，造成观测精度差别较大[8]，而且无法在牧草的整个生长过程中实现连续监测.尽管当前出现了一些牧草高度自动检测方法[9-10]，但这些方法对牧草图像分割时多采用形状特征，轮廓提取是特征参数计算的关键，但提取完整且光滑的轮廓可借鉴的成果不多，对作为实验对象的牧草株型有较高要求，导致这些方法只能对某一种或某几种牧草使用，适用性不强.现有牧草高度自动检测方法一般仅能测量单株牧草的高度(即株高)，不能测量观测范围内牧草的整体高度(即层高)，而且这些方法在测量牧草高度时需要接触牧草，或需要在观测现场放置标定物，对牧草生长有损坏.针对以上问题，本文提出了一种利用自然条件下牧草颜色恒定性的特征对牧草进行分割，然后采用灰度积分投影得到牧草高度，最后利用相机标定的结果将其转换成实际的高度值的方法.通过这种方法，能有效地对牧草层高进行无损、远程、连续定量测量，从而满足牧草长势自动化监测的要求.

1.   算法简述

  • 首先将相机安装在地面上对包含有牧草的图像进行采集.要求相机光轴与地面基本平行，并略向上，使相机采集的图片能拍摄到天空背景，如图 1所示.为了克服相机的水平高度不同所带来的误差，要求各个测量点相机安装的高度要一致，并尽量靠近地面.

    然后利用自然条件下牧草具有绿色“衡量”(Gvalue>Rvalue且Gvalue>Bvalue)的特征对采集的牧草图像进行牧草分割，标记牧草区域进行二值化处理，并对二值化图像进行水平方向的积分投影，所得到的投影图像中可能混杂着非绿草的干扰以及不连通的绿草，因此需要进行滤波.接着计算牧草所在的水平位置，标记牧草高度线，并计算以像素为单位的平均层高.最后利用相机标定的结果将其转换成实际的牧草高度值，算法流程如图 2所示.

2.   算法实现的具体步骤

    2.1.   基于颜色恒定性的牧草分割

  • 对于物体呈现的颜色，一般认为: 物体的颜色是不同波长的光反射到人眼视网膜上在大脑中所形成的色觉“映像”.不同物体的表面所呈现的颜色取决于光源、物体表面的反射、光照方向、视角方向以及传感器参数等因素的线性组合[11].

    对具体牧草而言，其表面反射特性可视为恒定，摄像头内外参数因为可控，所以牧草的颜色主要由光源和物体表面反射的光照特性决定.若光照又可控，则由牧草表面反射特性推知，牧草识别的颜色特征为“恒定”[12].但在户外环境下，牧草颜色还受到环境光的影响(如大气等)，以及牧草光照还存在折射、透射和衍射现象，因此，光照变化呈现不确定性.牧草为非透明体，其颜色主要由光照反射条件决定.光源的影响主要表现为牧场太阳照射角度的变化，如果不是正午光线直照射到牧草上，光照对牧草颜色识别的影响在一定程度上可以控制，如在镜头上附加滤波片滤掉某种光波，或者针对识别对象选择合适的颜色空间作特征提取等.由此可确定，牧草颜色的“恒定性”是存在的，因而可从采集到的彩色图像中分割出牧草.

    牧草多为绿色，与土壤及天空背景存在着很大的颜色差异，因此我们可以根据前面的牧草颜色恒定性分析，使用颜色特征来进行分割[13].在RGB颜色空间中，相同或相似颜色的信息通常会集中分布在一个部位.例如物体呈现绿色的像素值域在以G(Green)点为顶点的仿三棱锥(锥的底面可能是曲面)体中(图 3)[14-15]，顶点G(0，255，0)为纯绿色，依据颜色渐变原理，可以推断G点以下空间内的点可能为浅绿、灰绿等.由此可知，对于像牧草这样的绿色植物来说，其主要的颜色分量为绿色分量G，植物的G分量高于R和B分量，也高于背景中的G分量，即在绿色物体表面的像素值域内存在如(1)式所示的关系:

    式中，rvalue，gvalue，bvalue分别为R，G，B的灰度值.

    根据以上分析，可以由相机采集的图像中的像素是否具备某些特征，从而直接在RGB空间上转换成二值化图像，分割出牧草与非牧草区域，这些特征由用户根据以下4个参数来定义[16]:

    ① 在RGB空间的主导成分(dominant RGB component)

    ② 在RGB空间的受控成分(dominated RGB component)

    ③ 最小亮度(minimum intensity (shadow))

    ④ 最大亮度(maximum intensity (light))

    这些特征应既考虑牧草的色度信息又考虑牧草的光照信息，因此牧草分割算法需设置两个亮度门限值Lshadow和Llight，这两个门限值能够将太暗(Lshadow)或太亮(Llight)的像素滤除掉，从而克服亮度变化(光照、阴影等因素)的影响.对于像牧草这样的绿色植物来说，上述条件中①与②应分别对应G(green)通道和B(Blue)通道，由此可采用如下方式检测:

    其中，Llight典型值取200，Lshadow典型值取50.若环境光线太暗，则Lshadow的取值应相应降低，例如取10；若环境光线太亮，则Llight的取值相应升高，例如取250.通过上面方法，将牧草区域用黑色(0)表示，非牧草区域用白色(255)表示，从而分割出牧草区域与非牧草区域，如图 4所示.从图 4还可以看到，通过颜色特征提取到的绿草里面可能混杂着非绿草的干扰以及不连通的绿草.

    • 2.2.   利用灰度积分投影测量牧草的水平位置

  • 灰度积分投影法是一种常见的图像处理方法，它根据灰度图像在特定方向上的投影分布特征进行检测，通常情况下分为水平积分投影和垂直积分投影，定义如下:

    设I(x，y)为图像在(x，y)处的灰度值，n表示某一行所有的像素点，m表示某一列所有的像素点，则图像的水平积分投影sh(y)和垂直积分投影sv(x)分别为

    根据式(3)可知，水平垂直积分投影是将某一行某一列所有像素的灰度值进行累加之后的和值.

    考虑到野外广阔的天然牧场周围很少有建筑物、树木等的遮挡，且背景较为单一，本文中对牧草高度的测量采用了水平灰度积分投影的方法.对图 4以左上角为原点逐行统计出图中每一行绿色像素点(即图 4中像素值为0的像素点)的数量.然后绘制出每行绿色像素点数量的变化曲线，如图 5所示.图 5中横坐标是行号，纵坐标是该行的绿色像素的点数，通过该绿色像素点数量的变化曲线可获得最高一层的高度信息.

    由于通过颜色特征提取到的绿草像素点可能存在非绿草的干扰以及不连通的绿草区域，如图 5第150行处，因此需要对二值化图像进行滤波.方法是: 将从最上面的第1行(即天空)到牧草的最高点(即图 5中第252行)的所有像素点全部置为255，通过这种方法可以将非绿草的干扰滤除，滤波后的图像如图 6所示.

    • 2.3.   牧草高度标记与层高计算

  • 以图 6左上角为原点，记录图像中每一列里像素值为0(即牧草)的像素点的最高的行号，并用红色实线标记，这样可获得每一列牧草的高度信息h(i)，如图 7所示的红色曲线.i为图像的列号，i=1~W，W为图像的宽度.

    图 7中最下面一行到红色标记的行的长度即为这一列牧草的高度，按照(4)式可求出所有列的平均高度.

    上式中have为牧草的平均高度，即牧草的层高；H为图像的高度，W为图像的宽度；$ \sum\limits_{i = 1}^W {h\left( i \right)} $为所有列的牧草高度之和.

    当然，牧草长得可能没有这么密集，可能某些地方出现间断，因此此时图像中不是所有列均有牧草像素，此时若直接采用图像的宽度做为分母来获取牧草的层高显然会使其值偏大，为了解决这个问题，可以在程序中设置一个阀值，当该列的绿色像素的个数少于该阀值时我们认为该列不应参与层高的运算.

    • 2.4.   相机标定与层高换算

  • 通过以上方法得到的牧草层高的单位是像素数，其实际高度需要相机标定后通过标定后的空间关系按照(5)式得到:

    (5) 式中hc为牧草的实际层高；have为以像素数为单位的牧草的平均高度，由(4)式得到；hp是CCD传感器中每个像素的高度，由相机的CCD参数决定，为一常数值；kscale为像高转物高的转换系数，通过对相机进行标定可以得到.

3.   实验结果

  • 采用200万像素智能工业相机SuperHD-S200对锡林郭勒盟东部典型草原区试验场进行间隔时间为720 s的图像采集，并在前端通过TI的TMS320DM642运行本算法，将处理后的结果再通过网络传向客户端.采用Matlab R2013b提供的工具软件CameraCalibrator和棋盘标定板对相机进行标定，采用SPSS 25.0进行数据统计分析.CCD图像传感器采用ICX274AK，分辨率为1600×1200，每个像素的高度为4.4 um.

    通过本算法测量的结果与实地人工用尺子测量结果进行比较以验证本算法的准确度.随机抽取12组植株进行检验，结果如表 1所示，牧草层高测量平均相对误差为2.9%，最小误差为零，最大误差不超过8%.

    使用皮尔森相关系数(Pearson correlation coefficient)将本算法测量的结果与统计观测区域内的生物量(bio-mass)进行相关性分析，以此验证本算法的精度[16].在相机图像采集相同的地点与相同的时间，采用齐地刈割法，每次随机取100个单株，测量生长季内牧草个体的地上生物量干质量，地上生物量干质量用称质量法和烘干法来测定(65℃下48h烘干至恒质量，称取干物质质量)[17].在SPSS中设置显著性检验为双侧检验，置信区间设置为水平95%，然后进行皮尔森相关性分析，结果如表 2所示.结果表明本算法与地上生物量的皮尔森相关系数为0.843，说明两者具有强的相关性.

    通过实验分析可知，测量精准度基本能满足牧草长势自动化监测的要求，而且由于人工观测采用场区采样，样点差异性误差不可避免，而自动观测采用的是固定样动态监测，消除了样点差异性误差，从而能更好地建立牧草生长发育与气象因子的相关指标.

4.   结论

  • 1) 本文提出的牧草分割算法具有很好的通用性，只需根据要检测的特定目标调整相应的主导成分、受控成分、最小亮度和最大亮度，即可检测出黄色、紫色、红色等各种植被目标，适用性较强.

    2) 牧草高度测量算法基于图像颜色特征采用统计方法得到，无需在牧场专门安装标定物、划定测试区域.由于相机在安装之后相机到目标的空间关系(相机的放置位置)一般不会再改变，因此只需要在开始时用标定板标定一次，此后不用再标定，而且标定板也不需要一直放在观测区域，本算法对牧草生长的损坏较小.

    3) 牧草高度测量算法测量的是牧草离地的相对高度，即使牧草生长在山坡等非平面地面上，只要保证相机光轴与地面基本平行，在草场的不同位置上所计算的牧草高度基本还是一致的.

    4) 牧草高度测量算法能得到牧草层高，而目前其他算法只能得到牧草株高，这对分析草原牧草的生长状况与趋势更具有实用意义.

    5) 由于牧草在自然环境下，背景复杂，而观测点与台站一般距离较远，图像传输压力大，工控机或台式机在体积、功耗、工作环境及稳定性方面也不适于在野外工作.实验表明本文提出的算法操作简单、运算量小、实时性较好，仅采用1台200万像素网络相机在前端进行图像采集，图像采集后直接在前端进行牧草分割、高度计算，并通过网络直接将处理好的结果及牧草高度值传给远端用户，可实现牧草高度的实时、无损、远程、连续测量.

    本文提出的方法通过单目成像即可得到符合实际应用需求的测量数据，并且可以推广到牧草以外的植株高度监测，为植物生长建模提供依据，具有较好的应用前景.本文的局限性在于由于相机没有严格水平放置，因此计算得到的层高与株高容易产生较大误差.同时，若牧草离相机太近则很可能因牧草充满整个图片而导致算法失败，算法还有待改进.

参考文献 (17)

目录

版权所有：西南师范大学学报(自然科学版)

地址：重庆市北碚区西南大学 电话：023-68252540，68254576，68254478 电子邮箱：xbbjb@swu.edu.cn

本系统由北京仁和汇智信息技术有限公司开发

/

返回文章
返回