A comparison of photogrammetric software packages for mosaicking unmanned aerial vehicle (UAV) images in agricultural application
CHEN Peng-Fei,1,2,*, XU Xin-Gang3通讯作者:
收稿日期:2019-11-6接受日期:2020-01-15网络出版日期:2020-07-12
基金资助: |
Received:2019-11-6Accepted:2020-01-15Online:2020-07-12
Fund supported: |
摘要
关键词:
Abstract
Keywords:
PDF (2567KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
陈鹏飞, 徐新刚. 无人机影像拼接软件在农业中应用的比较研究[J]. 作物学报, 2020, 46(7): 1112-1119. doi:10.3724/SP.J.1006.2020.91066
CHEN Peng-Fei, XU Xin-Gang.
遥感技术是反演作物生理、生化参数的重要工具[1,2,3], 其在作物长势监测、产量估测中有广泛应用。到目前为止, 人们最常用到的对地观测平台有卫星、有人机和观测塔。与其他平台相比, 低空无人机遥感具有成本低、能根据天气随时起降等优势。它提供了一种新的、多样化的对地观测数据获取手段。当其携带高质量、低成本传感器开展对地观测时, 可实现对目标区域高频次、便捷快速监测[4,5,6]。因此, 无人机遥感对及时获取作物长势状况, 支撑精准农业管理具有重要意义。
目前, 基于无人机遥感已开展许多和农业相关的研究工作[7,8,9]。但是在无人机的应用过程中, 仍有许多问题需要解决, 其中之一就是无人机影像正射拼接问题[10,11,12]。由于无人机影像飞行高度比较低, 它获取的一景影像的覆盖范围很小[13]。要想获取整个研究区的单幅影像, 需要拼接成千上百张的无人机影像。将海量的无人机数据拼接, 以代表地球表面的状态信息是一件非常有挑战性的工作。由于非常耗时, 传统航空测量中使用的基于自动空中三角网和光束法平差的方法, 很难在无人机影像拼接中使用[14]。近年来, 研究者提出基于现代计算机机器视觉和运动结构算法可以很好解决这一问题[15,16,17]。目前, 已有一系列软件基于这一思想设计, 比如Photoscan软件、Pix4D软件等。然而, 由于缺乏对这些新设计软件系统比较和验证, 用户在选择时存在一定的盲目性。
几何精度和光谱精度是衡量拼接效果的两个重要指标。对于几何精度, 目前已有一些对比不同拼接软件性能的研究[18]。Gross和Heumann[14]比较了Pix4D软件、Photoscan软件和ICE (Microsoft Image Composite Editor)软件拼接影像的几何精度, 发现Pix4D软件的精度最高, 然后是Photoscan软件; Turner等[19]比较了Pix4D软件、Photoscan软件和一款同样基于机器视觉和运动结构算法开发的非商用软件, 结果表明Photoscan软件的精度最高, 然后是Pix4D软件。总体而言, 已有研究表明在几何精度方面, 所有比较的商用和开源软件中Pix4D和Photoscan的精度最高。对于光谱精度, 还较少有人详细比较不同软件的性能。仅见Gross和Heumann[14]目视比较了Photoscan, Pix4D和ICE拼接影像的清晰度。不同拼接软件在拼接过程中对无人机原始影像的影响如何?从光谱角度看, 哪个是最好的拼接软件?这些问题对于无人机农业应用来说是非常重要的。
考虑到Photoscan和Pix4D这两款拼接软件是目前几何精度最高和最常被人们使用的软件, 本研究通过设计实验, 对比分析了它们在拼接过程中对原始光谱的影响。
1 材料与方法
1.1 田间试验
本研究数据来自北京市昌平区小汤山精准农业示范基地开展的冬小麦氮肥梯度试验(116°26′35″E, 40°10′46″N)。研究区处于半湿润大陆性季风气候区, 阳光充足, 温度温和, 降雨适中。冬小麦和夏玉米轮作是该地区典型的耕作模式。田间试验面积4800 m2。选用2个小麦品种, 4个氮肥处理和4个重复。一共32个田间试验小区。小区大小9 m × 15 m。小麦品种是Lunxuan 167和Jingdong 18。氮肥处理分别为0、90、180和270 kg hm?2。除氮肥外, 其他田间管理措施相同。1.2 数据获取
1.2.1 无人机数据获取 在冬小麦生长的挺身期进行无人机飞行。飞行时, 无人机搭载RedEdge-M (MicaSense, 美国华盛顿州)相机来获取多光谱影像。所用无人机为3DR Solo (3DR, 美国加利福尼亚州)四旋翼无人机。RedEdge-M相机包含5个波段, 中心波长分别位于475、560、668、717和840 nm, 波段宽度为20、20、10、10和40 nm。镜头焦距为5.5 mm, 水平视场角为47.2°, 垂直视场角为35.4°, 采用全局快门模式成像, 分辨率为1280×960像素。无人机在中午12:00左右, 晴空无云时飞行, 飞行高度为30 m, 对应影像空间分辨率约为1.99 cm。无人机飞行时, 所拍影像的旁向和航向重叠率均设定为75%。无人机飞行前, 采用手动模式拍摄白板。白板信息用来后期将影像DN值转换为反射率。本次飞行共获得329景影像, 其中无人机飞行平台及一景获取的影像如图1所示。图1
新窗口打开|下载原图ZIP|生成PPT图1无人机飞行平台及获取的一景影像
Fig. 1UAV platform and an acquired image
1.2.2 无人机数据预处理 Pix4D软件(Pix4D, 洛桑, 瑞士)和Photoscan软件(Agisoft, 圣彼得堡, 俄罗斯)被分别用来拼接获取的无人机影像。本研究使用了Pix4D AG 的4.2.25版和Photoscan的1.4.2版。此外, 为了检验软件在拼接处理中对原始影像光谱信息的保留程度, 基于相机制造商提供的开源程序, 本研究制作了每次相机拍摄获取5个波段影像所合成的多光谱影像。相关Python程序可以从网站https://github.com/micasense/imageprocessing下载, 包括各波段影像的畸变校正、反射率计算和不同波段影像的对齐处理。基于以上处理, 共有3种类型的数据源, 包含2个用不同拼接软件拼接的影像和没有拼接的单张多光谱影像。为了保证它们有相同的空间基准, 用Trimble Geo 7X (Trimble, 加利福尼亚州, 美国)差分GPS采集厘米级误差GPS点数据, 来对Pix4D拼接的影像和Photoscan拼接的影像进行几何校正。另外, 在每个小区随机布设样点, 选择对应样点天顶的单张无人机影像, 参照校正好的拼接影像进行几何校正。其中, 各小区布设的样点信息如图2所示。
图2
新窗口打开|下载原图ZIP|生成PPT图2样点空间分布图
Fig. 2Distribution map for sampling points
1.3 数据分析
首先, 提取每个样点在Pix4D拼接影像、Photoscan拼接影像和单张影像上的光谱信息。提取时, 在每个采样点提取半径为0.75 m圆形区域内所有像元的光谱值。其次, 对于每一来源的影像数据, 以各样点提取的所有像元光谱值的平均值代表样点光谱值, 用以分析不同来源影像光谱反射率之间的相关性与差异。其中, 差异分析采用了散点图分析和成对数据t检验。最后, 对于每个来源的影像数据, 基于提取的各样点处所有像元光谱反射率计算变异系数(CV), 对比不同来源影像变异系数的差异。变异系数反映了影像的对比度。同样, 用散点图分析和成对数据t检验来分析它们之间的差异。流程图如图3所示。图3
新窗口打开|下载原图ZIP|生成PPT图3数据分析流程图
Fig. 3Flow chart for data analysis
2 结果与分析
2.1 不同数据源光谱反射率的比较
从图4可以看出, 用Pix4D拼接的影像和Photoscan拼接的影像均没有出现模糊和伪影区域。考虑到相关性分析结果, 样点处两种拼接影像反射率与单张影像反射率间均存在较好的相关性, 相关系数0.68以上, 达到0.001显著水平(图5)。但从它们的散点图看, 代表Pix4D拼接影像的样点基本都在1:1线以下, 说明Pix4D拼接影像的反射率在各个波段均小于单张影像反射率, 所用方法倾向于将原始影像各波段反射率变小。在蓝光波段、绿光波段、红光波段, 代表Photoscan拼接影像的样点基本都在1:1线周围, 而在红边波段、近红外波段, 代表Photoscan拼接影像的样点大部分在1:1线的上方, 说明Photoscan拼接软件所用方法在反射率值较低波段, 能较好地保留原始影像光谱信息, 但在反射率值较高波段, 会增大波段反射率值。总体说来, 与Pix4D相比, Photoscan能保留更多的原始影像光谱反射率信息。图4
新窗口打开|下载原图ZIP|生成PPT图4Pix4D拼接影像(a)、Photoscan拼接影像(b)、一些单张影像(c)的假彩色合成影像和小区施氮量空间分布图(d)
Fig. 4False color images for Pix4D mosaicked image (a), Photoscan mosaicked image (b), some single images (c), and map of applied nitrogen in each zone (d)
图5
新窗口打开|下载原图ZIP|生成PPT图5单张影像与拼接影像在各波段的反射率散点图
(a)蓝光波段; (b)绿光波段; (c)红光波段; (d)红边波段; (e)近红外波段。图中虚线表示1:1线。
Fig. 5Reflectance scatter plots of single image and mosaicked image in each band
(a) Blue band; (b) Green band; (c) Red band; (d) Red edge band; (e) Near infrared band. Dashed line indicates 1:1 line.
从成对数据t检验的结果看, Pix4D拼接影像的反射率与单张影像反射率在各波段均存在显著性差异, 达0.001显著水平(表1)。对于Photoscan拼接影像来说其在红边波段和近红外波段的反射率与单张影像对应波段的反射率存在显著性差异(P<0.001)。但在蓝光波段、绿光波段和红光波段, Photoscan拼接影像的波段反射率与单张影像的波段反射率不存在显著性差异(P<0.001)。以上结果表明, 在蓝、绿、红波段, Photoscan软件在拼接影像时能比Pix4D软件在拼接影像时保留更多的原始光谱反射率信息。除此之外, 当比较Pix4D拼接影像和Photoscan拼接影像之间光谱反射率的差异时, 它们分布于散点图的不同区域, 且各个波段均表现出显著性差异(P<0.001)。说明Pix4D和Photoscan在拼接单张影像时采用了不同的数据处理策略。
Table 1
表1
表1Pix4D拼接影像、Photoscan拼接影像和单张影像之间反射率成对数据t检验结果
Table 1
波段 Channel | Pix4D 拼接影像vs. Photoscan拼接影像 Pix4D mosaicked image vs. Photoscan mosaicked image | Pix4D 拼接影像vs.单张影像 Pix4D mosaicked image vs. single image | Photoscan拼接影像vs.单张影像 Photoscan mosaicked image vs. single image |
---|---|---|---|
蓝光波段Blue band | < 0.001*** | < 0.001*** | 0.043* |
绿光波段Green band | < 0.001*** | < 0.001*** | 0.003** |
红光波段Red band | < 0.001*** | < 0.001*** | 0.425 ns |
红边波段Red edge band | < 0.001*** | < 0.001*** | < 0.001*** |
近红外波段Near infrared band | < 0.001*** | < 0.001*** | < 0.001*** |
新窗口打开|下载CSV
2.2 不同数据源影像对比度的比较
Pix4D拼接影像、Photoscan拼接影像和单张影像样点处光谱反射率平均变异系数和散点图, 如表2、图6所示。与Pix4D拼接影像的变异系数相比,Photoscan拼接影像每个波段的变异系数与单张影像相应波段的变异系数更加接近(表2)。从散点图上看, 对于Pix4D拼接影像, 其在蓝光波段和红光波段的变异系数与对应单张影像相应波段的变异数据有较好的对应关系, 样点均分布在1:1线周围, 但其在绿光波段、红边波段和近红外波段的变异系数明显低于单张影像相应波段的变异系数, 绝大部分样点分布在1:1线的下部; 对于Photoscan拼接影像, 除在红边波段, 样点略偏向1:1线的下部, 其在其他各个波段的变异系数与对应单张影像相应波段的变异系数均有较好的对应关系, 样点均分布在1:1线周围。从成对数据t检验结果看, 除红光波段和蓝光波段外, Pix4D拼接影像在其他波段的变异系数与单张影像显著不同, 显著性大于0.001水平(表3); Photoscan拼接影像除在红边波段与单张影像对应波段的变异系数存在显著性差异外, 在其他波段的变异系数均与单张影像不存在显著性差异(P<0.001)。以上结果说明, 与Pix4D拼接影像相比, Photoscan拼接影像能保留更多的单张影像的对比度信息。此外, 除蓝光波段外, Photoscan拼接影像各波段的变异系数与Pix4D拼接影像相应波段的变异系数在散点图中处于不同位置, 它们之间存在显著性差异(P < 0.001)。Table 2
表2
表2Pix4D拼接影像、Photoscan拼接影像和单张影像样点处光谱反射率平均变异系数(CV)
Table 2
波段 Channel | Pix4D拼接影像 Pix4D mosaicked image | Photoscan拼接影像 Photoscan mosaicked image | 单张影像 Single image |
---|---|---|---|
蓝光波段 Blue band | 0.1585 | 0.1587 | 0.1677 |
绿光波段 Green band | 0.1287 | 0.1369 | 0.1404 |
红光波段 Red band | 0.2042 | 0.2095 | 0.2105 |
红边波段 Red edge band | 0.0853 | 0.0930 | 0.0982 |
近红外波段 Near infrared band | 0.1073 | 0.1125 | 0.1173 |
新窗口打开|下载CSV
图6
新窗口打开|下载原图ZIP|生成PPT图6单张影像与拼接影像在各波段的反射率变异系数散点图
(a)蓝光波段; (b)绿光波段; (c)红光波段; (d)红边波段; (e)近红外波段。图中虚线表示1:1线。
Fig. 6Reflectance coefficient of variation (CV) scatter plots of single image and mosaicked image in each band
(a) Blue band; (b) Green band; (c) Red band; (d) Red edge band; (e) Near infrared band. Dashed line indicates 1:1 line.
Table 3
表3
表3Pix4D拼接影像、Photoscan拼接影像和单张影像之间反射率变异系数的成对数据t检验结果
Table 3
波段 Channel | Pix4D拼接影像vs. Photoscan拼接影像 Pix4D mosaicked image vs. Photoscan mosaicked image | Pix4D 拼接影像vs. 单张影像 Pix4D mosaicked image vs. single image | Photoscan拼接影像vs. 单张影像 Photoscan mosaicked image vs. single image |
---|---|---|---|
蓝光波段Blue band | 0.823 ns | 0.003** | 0.003** |
绿光波段Green band | < 0.001*** | < 0.001*** | 0.009** |
红光波段Red band | < 0.001*** | 0.046* | 0.759 ns |
红边波段Red edge band | < 0.001*** | < 0.001*** | < 0.001*** |
近红外波段Near infrared band | < 0.001*** | < 0.001*** | 0.047* |
新窗口打开|下载CSV
3 讨论
Gross和Heumann[14]通过目视观测发现Pix4D拼接影像和Photoscan拼接影像均有模糊和伪影区域, 从侧面说明两个软件在拼接无人机数据时均改变了原始影像光谱信息。如前所述, 本研究中用Pix4D拼接的影像和Photoscan拼接的影像均没有出现模糊和伪影区域。但是, 当进行定量比较时,Pix4D拼接影像、Photoscan拼接影像和单张影像间在光谱反射率和其变异系数上均存在差异。这与Gross和Heumann的结果一致。此外, 3种不同来源数据的光谱反射率和其变异系数的比较表明, Photoscan在拼接无人机影像过程中, 比Pix4D保留了更多的原始影像信息。几何精度和光谱精度是两个衡量拼接软件性能的关键技术指标。在几何精度方面, Gross和Heumann的研究表明与其他软件相比, Pix4D软件拼接影像的几何精度最高[14], 但是Sona等[18]和Turner等[19]的研究则表明Photoscan软件拼接影像的几何精度要好于Pix4D。显然, 这两款拼接软件拼接影像的几何精度取决于具体的应用场景。不过, 基于这些研究的结果看, Pix4D和Photoscan拼接影像的几何精度差异并不大。此外, 即使拼接影像存在细微的几何校正误差, 后期还可以用野外采集的高精度的GPS点对它们进行几何精校正。本研究仅仅比较了两款拼接软件拼接影像光谱信息的差异。考虑到光谱信息, 尽管两款拼接软件拼接影像的光谱反射率都与单张影像光谱反射率有很高的相关性, 但与Pix4D软件拼接的影像相比, Photoscan软件拼接影像的反射率与单张未拼接影像的反射率具有更好的对应关系, 且反射率的变异系数与原始影像也更加接近。说明Photoscan在拼接影像时保留了更多的原始影像信息, 特别是对比度信息。好的对比度, 会使基于Photoscan软件拼接的影像在复杂区域进行目标分类时比基于Pix4D软件拼接的影像表现更好。除了几何精度和光谱精度这两个标准, 价格也是用户在使用拼接软件时应该考虑的因素。Photoscan专业版的售价为3499美元, Pix4D Mapper专业版的售价为8700美元。Pix4D AG为农业版, 它的售价为5185美元。显然, Photoscan更加便宜。
本研究只是比较了两款软件在平原区农业地块应用的情况。今后, 需要在不同地形条件, 对结果进行更广泛的验证。目前来说, 本研究提供了一个比较软件拼接影像光谱精度的实例, 其结论适合于类似区域。
4 结论
Pix4D软件和Photoscan软件在拼接无人机影像时, 尽管拼接影像的光谱反射率均与单张影像光谱反射率有较高的相关性, 但在拼接处理影像的过程中均改变了原始单张影像的反射率。其中, Pix4D软件会导致各波段反射率变低, 而Photoscan软件能较好地处理具有低反射率值的光谱波段, 但在具有高反射率值的光谱波段会导致处理后的反射率变大。与Pix4D相比, 基于Photoscan拼接的影像, 其反射率及影像对比度与原始单张影像更加接近。对于与本研究类似区域的应用来说, 推荐Photoscan为性价比较好的软件。致谢
感谢孙刚、刘金然、徐志涛在田间实验过程中给予的支持与帮助。参考文献 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子
,
DOI:10.1016/j.rse.2010.04.006URL [本文引用: 1]
,
DOI:10.3724/SP.J.1006.2013.00309URL [本文引用: 1]
现代作物育种需要监测大量育种材料的生长并估测产量潜势, 高光谱遥感技术为此提供了简单、快捷、非损伤性测定的可能途径。选取30份大豆育成品种进行连续2年的产量比较试验, 在盛花期(R2)、盛荚期(R4)和鼓粒始期(R5)测定地上部生物量(ADM)和叶面积指数(LAI), 并利用ASD高光谱地物仪同步收集大豆冠层反射光谱信息。供试品种间ADM、LAI和产量差异显著或极显著。不同生育期可见光和近红外区域的光谱反射率与大豆ADM、LAI及产量均有显著相关, 尤其在R4和R5期相关性最高。在构建大量光谱参数的基础上, 遴选出对ADM、LAI及产量预测精度较好的回归模型。其中, R5期的P_Area560光谱参数与LAI和R4期的V_Area1450光谱参数与ADM构建的两个生长性状的监测模型效果最好, 决定系数(R2)分别为0.582和0.692。未发现单一生育期光谱参数对大豆估产的有效模型, 但综合R2期NPH1280、R4期V_Area1190以及R5期NPH560构建的产量估测模型, 决定系数(R2)达到0.68, 效果较好。本研究
DOI:10.3724/SP.J.1006.2013.00309URL [本文引用: 1]
现代作物育种需要监测大量育种材料的生长并估测产量潜势, 高光谱遥感技术为此提供了简单、快捷、非损伤性测定的可能途径。选取30份大豆育成品种进行连续2年的产量比较试验, 在盛花期(R2)、盛荚期(R4)和鼓粒始期(R5)测定地上部生物量(ADM)和叶面积指数(LAI), 并利用ASD高光谱地物仪同步收集大豆冠层反射光谱信息。供试品种间ADM、LAI和产量差异显著或极显著。不同生育期可见光和近红外区域的光谱反射率与大豆ADM、LAI及产量均有显著相关, 尤其在R4和R5期相关性最高。在构建大量光谱参数的基础上, 遴选出对ADM、LAI及产量预测精度较好的回归模型。其中, R5期的P_Area560光谱参数与LAI和R4期的V_Area1450光谱参数与ADM构建的两个生长性状的监测模型效果最好, 决定系数(R2)分别为0.582和0.692。未发现单一生育期光谱参数对大豆估产的有效模型, 但综合R2期NPH1280、R4期V_Area1190以及R5期NPH560构建的产量估测模型, 决定系数(R2)达到0.68, 效果较好。本研究
,
DOI:10.1016/j.rse.2018.05.002URL [本文引用: 1]
,
[本文引用: 1]
,
[本文引用: 1]
[本文引用: 1]
,
DOI:10.13203/j.whugis20140045URL [本文引用: 1]
目的阐述了无人机遥感兴起的背景。从无人飞行平台、飞行姿态控制与导航、数据传输与存储、数据处理、传感器技术、空域使用政策等方面探讨了发展无人机遥感系统的基础、问题、研究进展和趋势。通过描述无人机遥感系统在大量相关行业领域的应用与实践,点出了发展无人机遥感系统的必要性与意义所在。最后,从科技、政策等方面给出了发展无人机遥感技术和产业的建议。
DOI:10.13203/j.whugis20140045URL [本文引用: 1]
目的阐述了无人机遥感兴起的背景。从无人飞行平台、飞行姿态控制与导航、数据传输与存储、数据处理、传感器技术、空域使用政策等方面探讨了发展无人机遥感系统的基础、问题、研究进展和趋势。通过描述无人机遥感系统在大量相关行业领域的应用与实践,点出了发展无人机遥感系统的必要性与意义所在。最后,从科技、政策等方面给出了发展无人机遥感技术和产业的建议。
,
[本文引用: 1]
,
[本文引用: 1]
[本文引用: 1]
,
URLPMID:29715311 [本文引用: 1]
,
DOI:10.1109/TGRS.2008.2006505URL [本文引用: 1]
,
[本文引用: 1]
[本文引用: 1]
,
[本文引用: 1]
[本文引用: 1]
,
DOI:10.3390/rs4051392URL [本文引用: 1]
,
DOI:10.14358/PERS.82.6.419URL [本文引用: 5]
,
[本文引用: 1]
,
[本文引用: 1]
,
DOI:10.1016/j.cageo.2014.04.012URL [本文引用: 1]
,
[本文引用: 2]
,
DOI:10.1109/TGRS.36URL [本文引用: 2]