肖顺夫, 刘升平^,, 李世娟, 杜鸣竹, 吕纯阳, 刘大众, 杨菲菲, 刘航中国农业科学院农业信息研究所,北京 100081

Multi-View Geometric Reconstruction of Plant Based on Improved Region-Growing Algorithm

XIAO ShunFu, LIU ShengPing^,, LI ShiJuan, DU MingZhu, Lü ChunYang, LIU DaZhong, YANG FeiFei, LIU HangAgricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081

通讯作者: 刘升平,E-mail：liushengping@caas.cn

收稿日期:2019-03-30接受日期:2019-05-15网络出版日期:2019-08-16

基金资助:

中央级公益性科研院所基本科研业务费专项.JBYW-AII-2019-29 中央级公益性科研院所基本科研业务费专项.Y2019XK24-01

Received:2019-03-30Accepted:2019-05-15Online:2019-08-16
作者简介 About authors
肖顺夫,E-mail：15501219150@163.com。










摘要
【目的】通过研究3种不同复杂程度植株冠层的三维重建,为更加精准获取植株冠层表型参数提供新方法。【方法】本文首先用单反相机获取3种不同复杂程度植株冠层图片序列,通过三维重建得到各植株稠密点云;随后还原植株点云原始尺度,过滤稠密点云中的噪声,再使用改进区域增长算法分割植株点云冠层;之后借助激光扫描仪,利用手动测量和激光扫描方法分别从二维和三维两个方面对多视图几何重建的叶片进行精度评价,二维精度评价为叶片长宽的实际测量值分别与激光扫描仪获取的叶片的长宽值和多视图几何重建叶片的长宽值进行统计分析,三维精度评价使用传统的网格对比方法豪斯多夫距离与更加精准的工业级网格3D精度对比检测软件Geomagic Qualify。【结果】多视图几何重建的植株叶片表型信息与手动测量值间的判定系数（R ²）均高于0.96,激光扫描方法获取的植株叶片表型信息与手动测量值间的判定系数（R ²）均高0.99;多视图几何重建的叶片与激光扫描得到的叶片在0—±1mm偏差范围内的比例大部分达到97%以上;以激光扫描的叶片网格为参考,多视图几何重建的叶片网格的豪斯多夫距离90%以上分布在0—2 mm。本研究的多视图几何重建方法与改进区域增长算法相结合能对不同复杂程度的植株取得比较理想的重建结果。 【结论】本文提出的多视图几何方法与改进区域增长算法相结合的重建方法可以弥补区域增长算法的不足,对表面不平滑的植株冠层具有更好的分割效果,适合不同复杂程度植株三维重建,为育种研究获取植株表型提供一定的参考。
关键词： 多视图几何;三维重建;植株;区域增长算法;数码相机

Abstract
【Objective】 Three-dimensional reconstruction of three kinds of plants canopy with different levels of complexity was studied to provide a new method for more accurate acquisition of plants canopy phenotypic characteristics. 【Method】 In this paper, a sequence of pictures of three kinds of plant canopy with different levels of complexity were gotten by using a SLR camera, and dense point clouds of plants were gotten by using three-dimensional reconstruction method. Then, the original scale of dense point clouds of plants was restored, and noisy point of dense point clouds and segmenting plants canopy were filtered by using improved region-growing algorithm with the help of laser scanner, then the accuracy of leaves reconstructed from multi-view geometry method was evaluated from two-dimensional and three-dimensional aspects by manual measurement and laser scanning. Two-dimensional accuracy evaluation was carried out by statistical analysis of actual measured values of leaves length and width and comparing with leaves length and width reconstructed by multi-view geometry method and leaves length and width obtained by laser scanner, respectively. Three-dimensional accuracy was evaluated by using the traditional mesh comparison method Hausdorff distance and Geomagic Qualify software, which was a better accurate 3D accuracy comparison software in industrial meshes comparing. 【Result】 The results showed that the judgment coefficients (R ²) between the phenotypic information of plants leaves and manual measurements were higher than 0.96. The judgment coefficients (R ²) between the phenotypic information of plant leaves obtained by laser scanning and manual measurements were higher than 0.99. The proportion of leaves obtained by multi-view geometric reconstruction and laser scanning was more than 97% in the deviation range of 0-±1 mm. Taking the leaves mesh scanned by laser as a reference, more than 90% of the Hausdorff distance of the leaves mesh reconstructed by multi-view geometry was between 0-2 mm. It was proved that the combination of the multi-view geometric reconstruction method with the improved region-growing algorithm could achieve ideal reconstruction results for plants with different complexity. 【Conclusion】The reconstruction method combining multi-view geometry method with the improved region-growing algorithm proposed in this paper could make up for the shortcomings of region-growing algorithm. It had better segmentation effect on the surface of uneven plants canopy, and was suitable for three-dimensional reconstruction of plants with different complexity. It could provide some reference for breeding research to obtain plant phenotypes.
Keywords：multi-view geometry;three-dimensional reconstruction;plant;region-growing algorithm;digital camera


PDF (4312KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
肖顺夫, 刘升平, 李世娟, 杜鸣竹, 吕纯阳, 刘大众, 杨菲菲, 刘航. 改进区域增长算法的植株多视图几何重建[J]. 中国农业科学, 2019, 52(16): 2776-2786 doi:10.3864/j.issn.0578-1752.2019.16.004
XIAO ShunFu, LIU ShengPing, LI ShiJuan, DU MingZhu, Lü ChunYang, LIU DaZhong, YANG FeiFei, LIU Hang. Multi-View Geometric Reconstruction of Plant Based on Improved Region-Growing Algorithm[J]. Scientia Acricultura Sinica, 2019, 52(16): 2776-2786 doi:10.3864/j.issn.0578-1752.2019.16.004

0 引言

【研究意义】自2014年以来,全世界粮食不足人数不断增长,2017年达到8.21亿,约占全世界人口的9%^[1]。未来几十年中,人类将面临巨大的粮食挑战,为提高全球粮食的产量,改良育种与栽培管理至关重要。高效改良育种与优化栽培的基础是深入理解与描述植株的功能与结构,其依赖于将植株表型性状与基因组结合起来,通过表型解析复杂的遗传性状^[2,3],因此,研究植株三维重建的方法,获取更加精准的植株表型对于改良育种乃至解决全球粮食不足问题具有重要意义。【前人研究进展】大数据时代的到来,传统的人工测量植株表型的方法无法获取高通量表型信息,不能满足表型与基因型分析^[4]。为解决这个问题,许多研究人员用不同传感器技术开展研究,如双目立体视觉法^[5,6]、激光扫描法^[7,8,9],深度相机法^{[10,11,12,13]}等。其中CHEN等^[5]在植株工厂上构建双目相机,对生菜进行三维信息提取,并测得株高等生物量。NGUYEN等^[6]利用相机阵列对田间不同生长时期的向日葵进行重建。ELI等^[8]提出一种基于激光测距仪（LRF）精确三维测量和自动数据处理的表型分析新方法,通过对2个拟南芥幼苗的三维表面进行测量,成功确定叶片表面方向和叶片表观方向这2个新性状。PAULUS等^[9]利用高精度激光扫描仪对大麦的茎叶进行表型提取,并且与手动测量表型进行对比,R²达到0.85—0.97。AZZARI等^[10]利用Kinect一代传感器获取2个物种植株的深度图像,并将该结果与手动测量结果相比较,试验表明深度图像与人工测量的植株大小的水平和垂直测量结果能很好吻合。YANG等^[13]使用kinect V2深度传感器,利用转盘旋转植株的方法来采集红辣椒的多幅图像并进行三维重建,实现三维重建的系统配置和算法实现。上述几类方法虽然可以获取高精度的植株点云,但是仪器过于昂贵,且对于环境要求比较但严格,对探测距离也有一定的要求,在一定程度上限制他们的使用。运动恢复结构的三维重建方法（structure from motion,SFM）,利用多幅连续拍摄的植株二维照片来重建稀疏点云,该方法以其设备简单、环境限制小且不受室外环境干扰等特点在重建植株三维特征方面更加具有优势。研究人员多将运动恢复结构方法（structure from motion,SFM）与多视图立体视觉（multiple view stereo,MVS）结合,生成稠密的植株点云,再使用区域增长算法,分割植株冠层,从而提取冠层表型参数^[14,15]。【本研究切入点】目前,许多研究者仅仅使用区域增长算法^[16]分割冠层,该算法仅仅以法线和曲率为分割条件,为保证植株冠层完全分割,分割后的各个植株叶片均有部分点云被归于未分类的红色点云而被丢弃,且随着冠层叶片越小、叶片表面起伏越大,该现象越明显^[14,15]。为弥补区域增长算法^[16]的不足,许多研究者多先使用区域增长算法分割冠层,得到单独叶片点云,再进行网格化,对网格存在的漏洞与凸起进行修复与平滑^[14,15]。该方法应用于面积较大且表面平滑的植株时,精度满足要求,但是对于一些冠层叶片较多、叶片面积较小且表面起伏较大的植株而言,该方法会丢失掉叶片的部分真实属性。【拟解决的关键问题】本文将SFM与MVS方法结合,并提出一种基于聚类思想的改进区域增长算法,对辣椒、黄瓜与番茄3种不同复杂程度的植株进行三维重建。并从二维与三维两个维度将重建结果分别与手动测量数据和激光扫描仪数据进行精度对比,证实本文方法对不同复杂程度的植株冠层三维重建的可行性,且对冠层表面起伏较大的植株具有更好的效果。

1 材料与方法

本文利用SFM与MVS方法重建3种植株冠层的三维形态,选取叶片大而宽且表面略起伏弯曲的黄瓜、叶片小而宽且表面平滑的辣椒以及叶片为羽状复叶型的番茄3种植株作为重建对象。主要步骤如下（图1）：（1）单反相机获取植株图片序列;（2）植株图片序列重建得到植株稠密点云并由花盆直径恢复植株点云尺度;（3）去除植株噪点并使用改进区域增长算法分割冠层;（4）激光扫描仪获取单株植株点云;（5）多视图几何重建点云与激光扫描获取叶片点云分别构建表面和平滑表面;（6）获取多视图几何重建叶片网格与激光扫描仪获取的叶片网格表型参数（叶片长与宽）,分别与真实测量值进行精度对比;（7）多视图几何重建叶片表面与激光扫描获取的叶片表面3D精度对比。

图1

新窗口打开|下载原图ZIP|生成PPT
图1植株三维重建与精度评价流程图

Fig. 1Workflow of three-dimensional reconstruction and the accuracy evaluation

1.1 试验环境

试验在中国农业科学院农业信息研究所温室进行,温度维持在18—28℃,湿度维持在40%—50%RH。选取移植15 d后的盆栽黄瓜、辣椒、番茄各2盆作为重建对象,其中黄瓜为3—4片叶期,辣椒为5—6片叶期,番茄为5—6簇叶期。利用单反相机（Cannon EOS 5DsR）获取盆栽图片序列,有效分辨率为2 200万。采集盆栽时间为上午10：00—12：00,将待取样盆栽放置转盘上,用固定于三脚架上的单反相机以45°左右的倾角向下拍摄盆栽,相机镜头到盆栽冠层的距离为60—80 cm,相机与盆栽的位置参照如图2所示。相机拍照模式为光圈优先模式（AV）,拍照时光圈大小为6.0,感光度（ISO）为1 200。拍照时,一人控制转盘,一人采集盆栽照片,转盘每旋转一个度数,待盆栽静止,使用单反获取盆栽图像。分别以4°、5°、6°、7°旋转盆栽360°,最终每盆盆栽分别得到90张、72张、60张、52张图片用于重建。盆栽激光点云数据采集时间为当天的13：00—14：00,三维激光扫描仪选用北京天远三维科技有限公司的手持式激光扫描仪FreeScan X3,精度可达0.03 mm,FreeScan X3将特制标记点贴于待扫描物体上,更加精准拼接不同方位点云。本次试验将标记点贴于盆栽附近的辅助工具从而得到完整的盆栽点云信息。

图2

新窗口打开|下载原图ZIP|生成PPT
图2相机位置参照

Fig. 2Camera position reference

1.2 基于图像序列的点云重建与去噪

使用基于运动恢复结构算法（structure from motion）的VisualSFM^[17]软件与基于CMVS算法的CMVS^[18]软件分别实现图像序列的稀疏点云与稠密点云重建。流程如图3所示（以番茄植株为例）。

图3

新窗口打开|下载原图ZIP|生成PPT
图3多视图几何生成点云流程图

Fig. 3Workflow of generating point clouds based on multi-view geometry



使用C++语言基于点云库PCL（point cloud library）^[19]实现稠密点云的尺度恢复与去噪。多次测量稠密点云的花盆直径,将其平均值与花盆的真实直径进行对比,利用得到的尺度信息还原稠密点云。点云去噪包括以下几个步骤：（1）颜色滤波过滤掉背景。植株点云为绿色,噪点一般是蓝色的花盆与棕色土壤,将颜色过滤条件定为g>r且g>b。（2）统计滤波去掉离群点。

1.3 基于改进区域增长算法的分割算法

改进区域增长算法流程如下：采用区域增长算法^{[16, 20]}对去噪后点云进行初始分割,参数调节至冠层全部分割;采用聚类方法,将叶片损失的点云聚类回原本叶片,分割冠层的同时保留完整的叶片点云信息,其中,区域增长算法采用C++语言基于点云库PCL（point cloud library）^[19]实现,点云的聚类算法采用C++语言实现。

原始的区域增长算法^{[16, 20]}按照曲率排序所有点,曲率最小点放入种子点集合,为种子点找到相邻点。具体步骤如下：（1）测试种子点与当前点的法线角度,如果小于法线阈值,则当前点算为该种子点的相邻点。（2）检查每个邻居点曲率,如果其曲率小于曲率阈值,则该点被添加到种子点集合。（3）检查后的种子点从种子点集中移除。算法的输出分为两部分,一部分是若干个分好类的点集,另外一部分是未分类的红色点集。试验中发现,阈值设置得太小时（number of neighbours：60,smoothness threshold：14.0/180.0×π,curvature threshold：1.0）,叶片均可分割开,但是部分叶片弯曲部分由于曲率变化太大而被归于未分类的红色点集（图4-a）;阈值设置过大（number of neighbours：100,smoothness threshold：16.0/180.0×π,curvature threshold：1.5）,则不能分开曲率与法线较为接近的叶片（图4-b）。

图4

新窗口打开|下载原图ZIP|生成PPT
图4不同参数的区域增长算法对辣椒植株的分割结果

Fig. 4Segmentation result of pepper by using region-growing algorithms with different parameters



为分割冠层每片叶片且保留叶片完整的原始点云,改进区域增长算法的步骤如下：（1）去噪后点云输入区域增长算法原始分割,设置较小的法线阈值与曲率阈值完全分割植株冠层（图4-a）。（2）所有未分类红色点云进行欧氏聚类,使未分类的红色点云重新聚类回原本叶片点云,即循环所有未分类的红色点云,每个红色点云与分割后每个叶片点云每个点计算两点之间的欧氏距离,如果红色点云与该叶片点云集合所有点的最小欧氏距离小于阈值,则将红色点归入该叶片点云集合,并从红色点云集合中删除该点。原始分割的叶片（图5-a）与改进的分割叶片（图5-b）结果表明,原始的区域增长算法处理后,叶片表面部分曲率过大的点被划分到未分类红色点集,而改进区域增长算法则将这部分点重新聚类回其原本的点云中,保留叶片的原始信息。（3）将分类后的叶片点云进行手动处理,将其粘连的叶柄点云去掉。试验中,由于番茄叶片太多,每盆番茄取一簇（5—9片）进行分割处理与后续试验。

图5

新窗口打开|下载原图ZIP|生成PPT
图5区域增长算法与其改进算法结果对比图

Fig. 5The comparison of results using the region-growing algorithm and its improved algorithm

1.4 表面重建与参数提取

表面重建采用C++语言基于点云库PCL（point cloud library）,实现贪婪投影三角化算法^[21],该算法的原理是将三维点通过法线投影到某一平面,然后对投影得到的点云作平面内的三角化,从而得到各个点的连接关系。在平面区域的三角化过程中用到基于Delaunay的空间区域增长算法,通过选取一个样本三角片作为初始曲面,不断扩张曲面边界,然后形成一张完整的三角网格曲面,最后根据投影点云的连接关系确定各原始三维点间的拓扑连接,所得的三角网格即为重建得到的曲面模型。

该算法能快速三角化点云,但是不能光滑曲面与孔洞修复。因此,本文随后采用Geomagic Studio（Raindrop Geomagic, Morrisville,NC,USA）软件进行光滑曲面、孔洞修复以及叶片曲面参数的提取（长宽）。其中,提取叶长与叶宽等表型信息时,叶长是指从叶基到叶尖的曲面距离,叶宽是与叶长垂直的最大曲面距离。

1.5 精度对比

1.5.1 二维精度对比 激光扫描仪获取的叶片的长宽与实际测量值进行统计分析,并将多视图重建叶片的长宽与实际测量值进行统计分析,包括方差分析 （ANOVA）、协方差分析（ANCOVA）、线性回归等。待评估值和参照值的吻合程度用均方根误差（RMSE）、和决定系数（R²）进行描述。其中RMSE公式如下：

（1） $RMSE=\sqrt{\sum\limits_{i=1}^{n}{{{({{p}_{i}}-{{y}_{i}})}^{2}}/n}}$
式中,p_i和y_i分别为第 i 个待评估值和参照值;n为待评估值或参照值的个数。

1.5.2 三维精度对比 分别采用传统的网格比较方法豪斯多夫距离^[22]（hausdorff distance）与更加精准的工业级网格3D精度对比检测软件Geomagic Qualify^[23]来进行比较。计算网格的豪斯多夫距离时,选取的采样点为网格的顶点,计算过程在Meshlab软件中实现,两个网格的豪斯多夫距离越大,则两个网格的近似程度越低,差别越大。Geomagic Qualify软件被广泛应用于工业界的硬件精度对比,如激光扫描得到的航天发动机叶片与CAD构建的发动机叶片精度检测等^[24,25],具有很高对比精度。本文多视图几何重建叶片3D精度检测步骤如下：（1）在Geomagic Qualify将多视图叶片与激光扫描叶片依次设置为检测对象与参考对象,运用最佳拟合对齐,比较2个叶片曲面的法线方向,当法线拟合最多时,将2个叶片对齐。（2）在Geomagic Qualify软件中运用3D对比,比较2个曲面的最大偏差、平均偏差以及各个偏差区域曲面的概率分布,并生成偏差色谱,便于直观偏差。（3）将对齐的多视图叶片与激光扫描叶片导入Meshlab软件,计算豪斯多夫距离,并且统计不同最大豪斯多夫距离下网格顶点所占所有网格顶点的百分比。

2 结果

2.1 点云处理结果

多视图几何重建得到的各植株点云如图6-a所示（均以90张图片重建为例）,由图可知,3种植株均能很好地展现出三维形态。改进区域增长算法得到的分割结果如图6-b所示。其中每一种颜色的点云代表一个叶片;在分割点云基础上,每片叶片能保留完整的原始点云信息。图6-c为多视图几何重建方法最终得到的各植株的重建效果,叶片能还原比较真实的三维形态,并且附带部分纹理信息。图-6d为激光扫描的各植株叶片结果,可知植被叶片很光滑且具有真实感。

图6

新窗口打开|下载原图ZIP|生成PPT
图6植株点云处理与重建效果图

Fig. 6Results of point clouds processing and 3D reconstruction of plants



为对重建植株冠层的表型信息有一个更加直观的认知,图7为本次试验重建盆栽（辣椒、黄瓜与番茄各2盆）各叶位叶宽与叶长的比较示意图（取90张图片重建结果为例）。由图7可知,同一个时期下,黄瓜的叶片的长与宽最大,辣椒的次之,番茄则最小。随着叶位的上移,黄瓜与辣椒的叶长与叶宽都趋向于一个先增加后减小的趋势,但是番茄一簇最上面叶位的叶片一般叶长与叶宽反而较大。

图7

新窗口打开|下载原图ZIP|生成PPT
图7辣椒、黄瓜与番茄叶位与叶长、叶宽关系图

Fig. 7The relationship between leaf position and leaf width and length of pepper, cucumber and tomato

2.2 精度评价

分析表明,黄瓜、辣椒与番茄植株重建精度随着重建照片数量下降依次降低（90张、72张、60张、52张）,且黄瓜与番茄2种植株在重建照片数量小于60张时,点云过于稀疏,效果不佳,因此精度评价不予统计。

表1为各植株叶片实际长宽测量值分别与激光扫描叶片长宽值和多视图重建叶片长宽值的精度对比。激光扫描仪扫描精度很高,3种植株R²均大于0.99（P<0.01）,能够为多视图重建结果提供3D精度对比的参考标准。辣椒和黄瓜的多视图重建精度比较高,其中,叶片长度R²均高于0.98,叶片宽度R²均高于0.99（P<0.05）;番茄的R²相比于辣椒和黄瓜较低,为0.96,这是由于番茄叶片为卵形或矩圆形且边缘不规则片,在重建过程中叶片的边缘重建效果较差,因此测量叶片的表型参数时不准确。整体来说,基于多视图重建三维重建精度能够满足植株表型获取植株参数的需求。

Table 1
表1
表1多视图几何方法重建植株、激光重建植株的叶片长度与宽度分别与手动测量值结果比较
Table 1Comparisons of leaf length and leaf width between multi-view geometry reconstruction, laser scanning and manual measurement

植株 Plant	叶片参数 Leaf parameter	决定系数 R12	均方根误差 RMSE1 (mm)	决定系数 R22	均方根误差 RMSE2 (mm)
辣椒 Pepper	长度 Length	0.997	0.49	0.98	0.96
	宽度 Width	0.998	0.23	0.995	0.63
黄瓜 Cucumber	长度 Length	0.998	0.55	0.98	1.57
	宽度 Width	0.999	0.42	0.99	1.56
番茄 Tomato	长度 Length	0.996	0.38	0.96	1.21
	宽度 Width	0.992	0.46	0.96	0.93

Subscript 1 represents comparison between multi-view geometry reconstruction and manual measurement and subscript 2 represents comparison between laser scanning and manual measurement
下标1代表激光与手动测量值对比结果,下标2代表多视图几何重建与手动测量值结果

新窗口打开|下载CSV

表2为各植株多视图几何重建叶片网格与激光扫描仪获取叶片网格的豪斯多夫距离各区间概率分布,由表可知,各植株的豪斯多夫距离90%以上均在0—2 mm之间,表明多视图几何重建的叶片网格与激光扫描的网格差别较小,重建质量较高。

Table 2
表2
表2基于多视图几何与激光扫描的各植株三维模型的豪斯多夫距离各区间概率分布
Table 2Percentage of intervals of Hausdorff distance calculated from multi-view geometry method and laser scanning (%)

植株 Plant	豪斯多夫距离区间 Intervals of Hausdorff distance (mm)
	0-2	0-4	4-6	6-8	8-10
辣椒-1 Pepper-1	96.60	99.46	0.42	0.08	0.04
辣椒-2 Pepper-2	95.22	98.30	1.43	0.21	0.06
黄瓜-1 Cucumber-1	91.68	98.21	1.34	0.43	0.02
黄瓜-2 Cucumber-2	90.24	98.53	0.81	0.61	0.05
番茄-1 Tomato-1	93.86	99.11	0.73	0.09	0.07
番茄-2 Tomato-2	91.53	98.89	1.07	0.03	0.01

新窗口打开|下载CSV

Geomagic Qualify对比结果如表3所示,将偏差按照5个等级（0-±0.5 mm、0-±1 mm、±1-±1.5 mm、±1.5-±2 mm以及±2-±2.5 mm）进行划分,得到各植株在对应偏差下网格所占的百分比并获取其整体标准偏差。由表2可知,辣椒的重建效果最优,在0-±0.5 mm的偏差范围内其所占比例高达90%;辣椒、黄瓜与番茄的偏差在0-±1mm上百分比均达到85%以上,其中辣椒与番茄高达97%以上,3种植株的整体重建精度都较理想。但相比于番茄与辣椒,黄瓜叶片的重建效果较差,在0-±0.5mm和0-±1mm范围内占比分别在60%和85%左右,且标准偏差较大。这是由于黄瓜叶片面积大、表面有白色柔毛且稍有卷缩,2个表面的拟合对齐会存在一些误差。另外,由于多视图照片获取时间与激光仪器扫描时间存在一定的采样间隔,导致黄瓜在2次数据获取时边缘形态发现细微的变化,从而产生精度的下降。一般认为,一旦表型性状的误差超过5%,就无法在育种计划中筛选出基因突变体^[26],但本次实验叶片偏差的5%为1.5—2 mm,3种植株在此范围内的概率分布达到95%以上,满足表型精度要求。

Table 3
表3
表3基于多视图几何重建与激光扫描的各植株叶片偏差概率分布
Table 3Percentage of deviation calculated from multi-view geometry method and laser scanning

植株 Plant	偏差 Deviation (mm)					标准偏差 Standard deviation (mm)
	0-±0.5	0-±1	±1-±1.5	±1.5-±2	±2-±2.5
辣椒-1 Pepper-1	94.90	99.46	0.54	0	0	0.24
辣椒-2 Pepper-2	90.22	97.55	2.3	0.15	0	0.30
黄瓜-1 Cucumber-1	63.34	86.58	8	3.57	1.85	0.72
黄瓜-2 Cucumber-2	62.64	83.91	8.44	4.70	2.95	0.70
番茄-1 Tomato-1	84.60	98.06	1.92	0.02	0	0.37
番茄-2 Tomato-2	82.15	97.00	2.79	0.21	0	0.38

新窗口打开|下载CSV

为更加直观地分析不同植株叶片重建具体偏差情况,在Geomagic Qualify对比结果的基础上,取辣椒、黄瓜与番茄各1株,对三维偏差进行可视化（图8）。绿色代表多视图与激光扫描所得到叶片的拟合度较好,精度较高;红色和蓝色代表重建精度较差。从图中可知,辣椒大部分为绿色,重建精度最高;番茄次之;黄瓜大部分区域也都为绿色,表明重建精度也很高,但是在叶片边缘以及叶基部分呈现蓝色,表明重建精度较差。这是由于叶片边缘的弯曲与卷缩造成的。

图8

新窗口打开|下载原图ZIP|生成PPT
图8基于偏差的植株重建质量可视化

Fig. 8Visualization of reconstruction quality for plants based on deviation

3 讨论

试验中发现,不同植株由于冠层结构复杂度不同,用于重建的图像数量以及图像获取的方式均有所不同。辣椒在重建图像达到50张时,重建完整度达到90%。番茄黄瓜则在重建图像达到60张以上时,重建完整度达到90%。当数量达到70张以上时,3种植株重建完整度均可达到95%以上。拍摄照片时,由于相机曝光过度或者曝光时间过长转台转动导致拍摄时植株晃动,都会造成点云重建精度的丢失,导致后期生成网格的质量下降。对于生长过于密集的植株的叶片部分,可以适当抬高或者降低相机,来获取更多的有效信息,对于特别复杂的作物,则可以使用半球型拍摄方式^[27,28],以满足高精度的需要。

本文在分割植株冠层时提出一种改进区域增长算法,有助于弯曲叶片完整分割,进而准确获取叶片表型信息。与以往的植株冠层分割不同的是,前人大多仅仅使用区域增长算法以法线与曲率为标准来分割植株冠层,弯曲叶片分割后往往会丢失部分区域的点,生成叶片网格之后再进行补洞与平滑修复,由此生成的叶片网格的弯曲区域会丢失叶片原来的真实形态^[14,15]。本文提出的改进区域增长算法,先采用区域增长算法分割植株冠层,再采用聚类的思想,将区域增长算法丢失的点聚类回来,保留分割后叶片完整点云,对于弯曲叶片,具有更加显著的效果。由本文的多视图几何重建叶片网格与激光扫描叶片网格的豪斯多夫距离分析可得,本文的方法与胡鹏程等^[15]的研究方法相比,在较大且稍有弯曲的黄瓜叶片的重建精度上,稍有提高;在比较平滑的辣椒等叶片的重建精度上,没有较大的改善。

本试验还有一些不足,多视图三维重建采用手动拍摄的图片序列,过程复杂且耗时,不能大规模的自动化测量表型信息,且提出的改进区域增长算法不具有尺度不变性。因此研究自动化获取表型信息的算法与尺度不变的区域增长算法是下一步工作之一。随着深度相机的发展,将多视图重建与深度相机结合,利用深度值来提高重建精度也是一个趋势。此外,在人工智能的冲击下,基于深度学习的三维重建^[29,30,31]也是一个热门的方向,特别是对于纹理稀疏、非漫反射的物体的三维重建的精度会有很大的提升。但目前基于深度学习的三维重建在植被上的应用很少,因此,在未来结合深度学习进一步研究复杂结构植株三维重建的方法也是下一步工作之一。

4 结论

本文利用多视图几何方法与改进区域增长算法对3种不同复杂程度的植株（叶片大而宽且表面略起伏弯曲的黄瓜、叶片小而宽且表面平滑的辣椒以及叶片为羽状复叶型的番茄）冠层进行三维重建,评估其叶片长宽等表型参数与手动测量值的精度,并且采用激光扫描仪获取的叶片网格对多视图几何重建的植株冠层进行3D评估。多视图几何重建的叶片长宽等表型参数的精度,与手动测量的对照值的R²均大于0.96（P<0.05）;激光扫描仪获取的叶片网格与多视图几何重建叶片的网格的偏差基本都在±1mm范围内,其中,辣椒、番茄所占比例均高于97%;多视图几何重建叶片的网格与激光扫描仪获取的叶片网格的豪斯多夫距离90%以上均在0—2 mm之间。该分析结果表明,本文提出的多视图几何方法与改进区域增长算法相结合的重建方法可以弥补区域增长算法的不足,适合不同复杂程度植株三维重建,为育种研究获取植株表型提供一定的参考。

参考文献 View Option 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子

[1] 粮农组织, 农发基金, 儿基会, 粮食署, 世卫组织. 2018年世界粮食安全和营养状况:增强气候抵御能力,促进粮食安全和营养
罗马: 粮农组织, 2018.
[本文引用: 1]

Food and Agriculture Organization, International Fund for Agricultural Development, United Nations Children's Fund, The World Food Programme, World Health Organization. World Food Security and Nutrition in 2018: Improving Climate Resistance and Promoting Food Security and Nutrition
Rome: FAO, 2018. (in Chinses)
[本文引用: 1]

[2] DAVID H, GOVINDARAJU D R, STIG O . Phenomics: The next challenge
Nature Reviews Genetics, 2010,11(12):855-866.
[本文引用: 1]

[3] KLODT M, HERZOG K, T?PFER R, CREMERS D . Field phenotyping of grapevine growth using dense stereo reconstruction
Bmc Bioinformatics, 2015,16(1):1-11.
[本文引用: 1]

[4] FURBANK R T, TESTER M . Phenomics-technologies to relieve the phenotyping bottleneck
Trends in Plant Science, 2011,16(12):635-644.
[本文引用: 1]

[5] CHEN W T, YEH Y H F, LIU T Y, LIN T T . An automatic plant growth measurement system for plant factory
Ifac Proceedings Volumes, 2013,46(4):323-327.
[本文引用: 2]

[6] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B, CARRIEDO L, MALOOF J N, SINHA N . Comparison of structure-from-motion and stereo vision techniques for full in-field 3D reconstruction and phenotyping of plants: An investigation in sunflower//The Proceedings of the 2016 ASABE Annual International Meeting
American Society of Agricultural and Biological Engineers(ASABE), Orlando, Florida,USA, 2016.
[本文引用: 2]

[7] DORNBUSCH T, WERNECKE P, DIEPENBROCK W . A method to extract morphological traits of plant organs from 3D point clouds as a database for an architectural plant model
Ecological Modelling, 2007,200(1):119-129.
[本文引用: 1]

[8] ELI K, NAOHIKO H, YUKO T, NAOKI Y, NOBUHARU G, NAOKI O, AKIHIKO K, MINAMI M, TETSURO T . Automatic quantification of morphological traits via three-dimensional measurement of Arabidopsis
Plant Journal, 2010,38(2):358-365.
[本文引用: 2]

[9] PAULUS S, SCHUMANN H, KUHLMANN H, LéON J . High- precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants
Biosystems Engineering, 2014,121(18):1-11.
[本文引用: 2]

[10] AZZARI, GEORGE, GOULDEN, MICHAEL L, RUSU, RADU B . Rapid characterization of vegetation structure with a Microsoft Kinect Sensor
Sensors, 2013,13(2):2384-2398.
[本文引用: 2]

[11] M H V D G W A, SONG Y, HORGAN G, POLDER G, DIELEMAN J A, BRINK M C A M, PALLOIX A, EEUWIJK V F A, GLASBEY C . SPICY: Towards automated phenotyping of large pepper plants in the greenhouse
Functional Plant Biology, 2012,39(10/11):870-877.
[本文引用: 1]

[12] SONG Y, GLASBEY C A, POLDER G, van der HEIJDEN G W A M . Non-destructive automatic leaf area measurements by combining stereo and time-of-flight images
IEEE Multimed, 2014,8(5):391-403.
[本文引用: 1]

[13] YANG M, CUI J S, JEONG E S, CHO S I . Development of high-resolution 3D phenotyping system using depth camera and RGB camera//The Proceedings of the 2017 ASABE Annual International Meeting
American Society of Agricultural and Biological Engineers (ASABE), Spokane, Washington, USA, 2017.
[本文引用: 2]

[14] HUI F, ZHU J Y, HU P C, MENG L, ZHU B L, GUO Y, LI B G, MA Y T . Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations
Annals of Botany, 2018,121(5):1079-1088.
[本文引用: 4]

[15] 胡鹏程, 郭焱, 李保国, 朱晋宇, 马韫韬 . 基于多视角立体视觉的植株三维重建与精度评估
农业工程学报, 2015,31(11):209-214.
Magsci [本文引用: 5]
基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照，采用豪斯多夫距离，从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时，从植株表型参数（叶片长、宽、叶面积）方面，对植株三维重建模型进行精度评估。结果表明，基于图像序列的三维重建模型精度较高，豪斯多夫距离在0～10 mm之间，各试验植株豪斯多夫距离大多小于4.0 mm，各植株表型参数与其对照值的R2均大于0.95，且两者的无显著性差异（P＜0.05）。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。
HU P C, GUO Y, LI B G, ZHU J Y, MA Y T . Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method
Transactions of the Chinese Society of Agricultural Engineering, 2015,31(11):209-214. (in Chinese)
Magsci [本文引用: 5]
基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照，采用豪斯多夫距离，从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时，从植株表型参数（叶片长、宽、叶面积）方面，对植株三维重建模型进行精度评估。结果表明，基于图像序列的三维重建模型精度较高，豪斯多夫距离在0～10 mm之间，各试验植株豪斯多夫距离大多小于4.0 mm，各植株表型参数与其对照值的R2均大于0.95，且两者的无显著性差异（P＜0.05）。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。

[16] RABBANI T, HEUVEL F A V D, VOSSELMAN G . Segmentation of point clouds using smoothness constraint
Remote Sensing & Spatial Information Sciences, 2006,36(5):248-253.
[本文引用: 4]

[17] WU C C. VisualSFM: A visual structure from motion system. , 2011. http://www.cs.washington.edu/homes/ccwu/vsfm
[本文引用: 1]

[18] FURUKAWA Y, PONCE J . Accurate, dense, and robust multiview stereopsis
IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010,32(8):1362-1376.
[本文引用: 1]

[19] RUSU R B, COUSINS S . 3D is here: Point cloud library (PCL)//The Proceedings of the IEEE International Conference on Robotics & Automation
Institute of Electrical and Electronic Engineers(IEEE), Shanghai, China, 2011.
[本文引用: 2]

[20] RUSU R B, MARTON Z C, BLODOW N, DOLHA M, BEETZ M . Towards 3D Point cloud based object maps for household environments
Robotics & Autonomous Systems, 2008,56(11):927-941.
[本文引用: 2]

[21] DICKERSON M T, DRYSDALE R L S, MCELFRESH S A, WELZL E . Fast greedy triangulation algorithms
Computational Geometry Theory & Applications, 1997,8(2):67-86.
[本文引用: 1]

[22] CIGNONI P, ROCCHINI C, SCOPIGNO R . Metro: Measuring error on simplified surfaces
Computer Graphics Forum, 1998,17(2):167-174.
[本文引用: 1]

[23] 杰魔软件有限公司. 三维检测软件Geomagic Qualify
航空制造技术, 2009(20):99-99.
[本文引用: 1]

Geomagic Software Co., Ltd. 3D detection software of Geomagic Qualify
Aeronautical Manufacturing Technology, 2009(20):99-99. (in Chinese)
[本文引用: 1]

[24] 陈细涛 . 航空叶片原位检测方法与实验研究
[D]. 武汉: 华中科技大学, 2012.
[本文引用: 1]

CHEN X T . Aero-engine blade in-situ inspection method and its experimental study
[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)
[本文引用: 1]

[25] 王秀鹏 . 基于面结构光的航空零部件三维测量和精度检测
[D]. 武汉: 华中科技大学, 2012.
[本文引用: 1]

WANG X P . The Measurement and accuracy of detection for the aviation parts and components based on structured light 3D
[D]. WuHan: Huazhong University of Science and Technology, 2012. (in Chinese)
[本文引用: 1]

[26] LEWIN R . Proposal to sequence the human genome stirs debate
Science, 1986,232(4758):1598-1600.
[本文引用: 1]

[27] NGUYEN C V, FRIPP J, LOVELL D R, FURBANK R, KUFFNER P, DAILY H, SIRAULT X . 3D scanning system for automatic high- resolution plant phenotyping//The Proceedings of the International Conference on Digital Image Computing: Techniques and Applications
Institute of Electrical and Electronic Engineers(IEEE), Gold Coast,Australia, 2016.
[本文引用: 1]

[28] NGUYEN T T, SLAUGHTER D C, TOWNSLEY B T, CARRIEDO L, MALOOF J N, SINHA N . In-field plant phenotyping using multi- view reconstruction: An investigation in eggplant//The Proceedings of the International Conference on Precison Agriculture
The International Society of Precision Agriculture, St. Louis, Missouri, USA, 2016.
[本文引用: 1]

[29] GALLIANI S, LASINGER K, SCHINDLER K . Massively parallel multiview stereopsis by surface normal diffusion//The Proceedings of the International Conference on Computer Vision(ICCV)
Institute of Electrical and Electronic Engineers(IEEE), Santiago,Chile, 2015.
[本文引用: 1]

[30] JI M Q, GALL J, ZHENG H T, LIU Y B, LU F . SurfaceNet: An end-to-end 3D neural network for multiview stereopsis//The Proceedings of the International Conference on Computer Vision (ICCV)
Institute of Electrical and Electronic Engineers(IEEE), Venice,Italy, 2017.
[本文引用: 1]

[31] YAO Y, LUO Z, LI S, TIAN F, LONG Q . MVSNet: Depth inference for unstructured multi-view stereo//The Proceedings of the European Conference on Computer Vision(ECCV)
Institute of Electrical and Electronic Engineers(IEEE), Munich,Germany, 2018.
[本文引用: 1]