邵泽中^,1, 姚青^,1, 唐健^,2, 李罕琼³, 杨保军², 吕军¹, 陈轶⁴¹浙江理工大学信息学院,杭州 310018
²中国水稻研究所/水稻生物学国家重点实验室,杭州 310006
³嘉善县农业农村局,浙江嘉兴 314100
⁴桐乡市农业技术推广服务中心,浙江桐乡 314500

Research and Development of the Intelligent Identification System of Agricultural Pests for Mobile Terminals

SHAO ZeZhong^,1, YAO Qing^,1, TANG Jian^,2, LI HanQiong³, YANG BaoJun², Lü Jun¹, CHEN Yi⁴¹School of Information and Technology, Zhejiang Sci-Tech University, Hangzhou 310018
²State Key Laboratory of Rice Biology, China National Rice Research Institute, Hangzhou 310006
³Jia Shan County Agricultural and Rural Bureau, Jiaxing 314100, Zhejiang
⁴Tongxiang Agricultural Technology Extension Service Center, Tongxiang 314500, Zhejiang

通讯作者: 姚青,E-mail：q-yao@126.com唐健,E-mail：tangjian@caas.cn

责任编辑: 杨鑫浩
收稿日期:2019-10-16接受日期:2019-12-2网络出版日期:2020-08-16

基金资助:

浙江省公益性项目.LGN18C140007 国家“863”计划.2013AA102402

Received:2019-10-16Accepted:2019-12-2Online:2020-08-16
作者简介 About authors
邵泽中,E-mail：812193586@qq.com









摘要
【目的】农作物田间害虫种类繁多,存在种间相似和种内差异的现象,容易混淆。本研究开发一个面向移动终端的农业害虫图像智能识别系统,为广大农户和基层测报人员提供一个便捷准确的农业害虫智能识别工具。【方法】农业害虫图像智能识别系统包括装有系统APP的移动客户端、服务器和基于深度学习的农业害虫识别模型。APP是在Android环境下开发的,可安装于Android系统的移动设备中。APP包括登录模块、害虫信息查询模块、害虫智能识别模块、害虫地图标记模块和害虫专家远程鉴定模块,UI界面采用底部导航栏形式。移动终端与服务器间的信息交互采用HTTP协议,害虫采集地信息显示使用百度的Android地图SDK来实现,用户和害虫信息使用MySQL数据库进行保存。在相同训练集和测试集条件下,比较了不同深度卷积神经网络模型,筛选出基于DenseNet121的农业害虫识别模型具有最高的精准度和最低的虚警率。农业害虫识别模型的程序部署在阿里云远程服务器上,当服务器端接收到移动客户端上传的害虫图像时,运行害虫识别模型,识别结果通过服务器反馈给客户端,同时将上传的图像和识别结果保存在数据库中,便于害虫图像的追溯。【结果】当用户在农田遇到不认识的害虫时,可通过装有该系统APP的移动设备（如手机或平板）拍摄害虫图像,并上传到服务器,识别结果和害虫防治信息在1—2 s内反馈至用户移动终端的屏幕上,对识别结果不满意还可远程请求专家鉴定。该系统对66种常见农业害虫图像平均识别率为93.9%,平均虚警率为8.2%。【结论】面向移动终端的农业害虫图像智能识别系统实现了66种常见农业害虫信息查询、自动识别,害虫采集地的地图显示和专家远程鉴定等功能。为农民和基层测报人员提供了一个农业害虫便捷准确的自动识别工具,无需专家到田间即可实现了用户“一对一”的防治指导,大大节省了经济和时间成本。
关键词： 农业害虫;移动终端;云服务器;卷积神经网络;图像智能识别

Abstract
【Objective】There are various species of pests in crop fields, and interspecific similarity and intraspecific difference are common in agricultural pests, which are easy to be confused. In this study, an intelligent system based on mobile terminals was developed to identify agricultural field pests. This system is an easy and intelligent tool of pest identification for peasants and pest forecasting technicians. 【Method】The intelligent identification system of agricultural field pests consists of a mobile client with a system APP, a server and a pest identification model based on deep learning. The application (APP) can be installed in mobile devices with Android system and includes user registration, pest information inquiry, pest automatic identification, pest location information and remote expert identification. The UI interface in this APP uses the style of bottom navigation bar, the information exchange between mobile client and server adopts HTTP protocol and the SDK of Baidu Android map is used to mark the geographic information of pests. The information of users and pests is saved in MySQL database. In the same training and testing sets, different convolutional neural network models were developed to identify agricultural pests. The results showed that the DenseNet121 model achieved the highest precision and lowest false alarm rate. The pest identification model based on DenseNet121 was installed in Alibaba Cloud remote server. When the server received the images from the mobile clients, the identification model was performed. The identification results were feed back to clients from the server. All images and results were saved in database for being traced back in future.【Result】When the users met unidentified pests in crop fields, the users could collect pest images and upload them to the server by the APP installed in mobile clients, such as mobile phone or PAD. The identification results and pest control information would be fed back to the mobile clients in 1-2 seconds. If the results were unsatisfied, the user could ask the expert to remotely identify pests. This system could identify 66 species of pests, and the average precision was 93.9% and false alarm rate was 8.2%. 【Conclusion】The intelligent identification system of agricultural pests could automatically identify the 66 species of agricultural pests. The system could inquire pest information, show the pest geographic information, and ask expert to remotely identify pests. This system is a tool for peasants and pest forecasting technicians to easily and accurately identify agricultural pests in crop fields. It can provide users the one-to-one pest control information and experts needn't go to crop fields for guiding peasants to manually identify pests. This system can save money and time.
Keywords：agricultural pests;mobile clients;cloud server;convolutional neural networks;image intelligent identification


PDF (4924KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
邵泽中, 姚青, 唐健, 李罕琼, 杨保军, 吕军, 陈轶. 面向移动终端的农业害虫图像智能识别系统的研究与开发[J]. 中国农业科学, 2020, 53(16): 3257-3268 doi:10.3864/j.issn.0578-1752.2020.16.005
SHAO ZeZhong, YAO Qing, TANG Jian, LI HanQiong, YANG BaoJun, Lü Jun, CHEN Yi. Research and Development of the Intelligent Identification System of Agricultural Pests for Mobile Terminals[J]. Scientia Acricultura Sinica, 2020, 53(16): 3257-3268 doi:10.3864/j.issn.0578-1752.2020.16.005

0 引言

【研究意义】及时准确地识别田间农业害虫的种类是害虫准确测报和合理防治的前提^[1]。传统的害虫识别方法主要依赖个人的专业经验进行辨别,或参考书本、网络上的文字和图像进行比对,或寻求专家鉴定等。由于田间昆虫种类繁多,有些不同种类的昆虫外观相似,而同一种类的昆虫可能存在较大的变异,这种人工识别农业害虫的方法主观性强,实时性差,容易造成误判^[2]。另外,我国农民科技文化素质普遍较低,拥有农业害虫诊断和防治知识的专家受地域和人数的制约,在时间和精力上难以满足到田间为广大农户进行一线指导。在基层测报人员日益减少的情况下,亟需一种便捷、快速、准确识别农业害虫和提供害虫防治策略的智能工具。【前人研究进展】随着图像处理技术的发展与应用,近20年国内外许多****开展了基于图像的害虫自动识别研究。首先通过各种图像采集设备^[3,4,5]获取高质量的害虫图像,然后提取害虫图像特征,主要包括全局特征中的颜色^[6,7]、形态^[8,9]或纹理^[10]等,局部特征中的SIFT^[11]、HOG^[12,13]、LBP^[13]、PCBR^[14]等,并进行特征筛选或多特征融合^[15,16],最后利用这些特征训练各种分类模型,如支持向量机^{[6, 11, 13]}、神经网络^[8,17-18]、K-NNC^[15]、MKL^[19]、稀疏表示分类器^[11]等。利用上述传统的模式识别方法,在有限种类和样本集上均能取得了较好的识别效果,但由于需要手工设计特征、模型存在鲁棒性不高和泛化能力差等问题,导致很多研究成果未能在实际生产中得到应用。近几年,深度学习方法中的卷积神经网络（convolutional neural network,CNN）在大规模图像识别任务中表现出色,它是一种端到端的机器学习方法,可以从图像中自动逐层提取成千上万的特征,这些良好的特征表达在目标识别中起到至关重要的作用^[20]。已有很多****利用迁移学习方法对卷积神经网络微调,利用农业害虫训练和测试样本对模型不断的优化,最终获得了较高的准确率^{[21,22,23,24,25,26,27]}。LIU等^[21]首先利用显著性分割方法定位自然环境下拍摄的12 种水稻害虫,然后建立CNN 模型识别害虫,准确率达95.1%。DING等^[22]利用CNN和滑动窗相结合的方法对性诱剂粘板图像上的害虫进行检测,获得了较好的结果。陈娟等^[23]提出了一种基于改进残差网络的害虫图像识别方法,在相同数据集下对38种北方园林害虫的平均识别准确率达到91.4%。CHENG等^[24]提出了一种基于深度残差学习网络的害虫识别方法,对10种害虫进行测试,最终获得了98.7%的识别率。XIA等^[25]在VGG19模型基础上进行改进,对24种害虫进行识别,获得了89.2%的识别率。LIU等^[26]提出了一种基于区域的灯诱害虫检测模型,16种害虫的检测率为75.46%;ALFARISY等^[27]利用CaffeNet模型对数据增强后的13种水稻病虫害图像进行识别,获得了87%的准确率。随着智能手机的普及与基于深度学习的害虫智能识别研究的深入,将两者结合实现手机版的农业害虫智能识别APP成为应用研究的方向。目前我国流行的APP“形色”^[28]和“花伴侣”^[29]可以让用户通过手机拍摄和上传的植物或花卉等图像进行实时地智能识别,获得较高的准确率,为植物和花卉爱好者提供了一个便捷的智能识别工具。樊景超^[30]建立了基于MobileNets的6种常见果园害虫识别APP,准确率达到了90%。赵彬宇等^[31]针对储粮害虫,开发了基于安卓系统的储粮害虫智能图鉴及图像识别APP,对146种常见储粮害虫制作了信息查询列表,利用VGG16网络模型对10种常见储粮害虫进行在线识别,获得较高的识别率。【本研究切入点】农田环境复杂,害虫种类繁多,害虫图像采集和人工标定困难,导致前人研究中害虫种类较少,结果无法满足生产实际的需求。【拟解决的关键问题】本研究利用深度学习方法和安卓技术,开发了一个面向移动终端的农业害虫智能识别系统,解决了农民或基层植保人员在田间遇到不认识害虫时无法实时获得有用信息的问题,可利用本系统的Android移动终端（手机或PAD）拍摄害虫图像,上传图片就可以实现害虫的自动识别,并为用户提供一对一的农业害虫防治信息。

1 材料与方法

1.1 系统整体设计

面向移动终端的农业害虫智能识别系统的整体设计见图1。该系统由移动端APP、云服务器和农业害虫识别模型组成,移动端APP拍摄农业害虫图像,通过网络上传到云服务器,安装在云服务器上的识别模型对农业害虫图像进行识别,并将结果反馈到移动端。

图1

新窗口打开|下载原图ZIP|生成PPT
图1面向移动终端的农业害虫智能识别系统设计图

Fig. 1Frame map of the intelligent identification system of agricultural pests for mobile terminals

1.2 农业害虫种类与图像数据

通过手机或相机拍摄和网络收集了66种常见农业害虫图像共8 857幅（图2）。按照9﹕1的比例来确定训练样本量和测试样本量,随机选取956幅图像作为测试图像集,剩余图像作为训练图像集。66种农业害虫名录和图像样本量信息见表1。所有图像中的害虫种类均经过了专家的鉴定。

图2

新窗口打开|下载原图ZIP|生成PPT
图266种农业害虫图像

Fig. 2Images of 66 agricultural pests



Table 1
表1
表166种常见农业害虫种类与图像样本量
Table 166 species of common agricultural pests and image number

序号 ID	害虫种类 Pest name	样本总量 Sample size		序号 ID	害虫种类 Pest name	样本总量 Sample size
1	瘤缘蝽 Acanthocoris scaber	49		34	褐边绿刺蛾 Latoia consocia	122
2	鬼脸天蛾 Acherontia lachesis	200		35	大稻缘蝽 Leptocorisa acuta	36
3	苎麻珍蝶 Acraea issoria	278		36	劳氏粘虫 Leucanialoryi	70
4	绿尾大蚕蛾 Actias ningpoana	190		37	东亚飞蝗 Locusta migratoria manilensis	202
5	小地老虎 Agrotis ypsilon	46		38	草地螟 Loxostege stieticatis	65
6	黄地老虎 Agrotis segetum	77		39	甘蓝夜蛾 Mamestra brassicae Linnaeus	115
7	铜绿丽金龟 Anomala corpulenta	115		40	樟叶蜂 Mesonura rufonota	64
8	苎麻夜蛾 Arcte coerula	112		41	草蝉 Mogannia hebes	65
9	绿灰蝶 Artipe	220		42	稻眼蝶 Mycalesis gotama	155
10	二点委夜蛾 Athetis lepigone	129		43	鹰粘夜蛾 Mythimna impura	77
11	枯球箩纹蛾 Brahmaea wallichii	140		44	黑尾叶蝉 Nephotettix bipunctatus	215
12	稻赤斑沫蝉 Callitetix versicolor	60		45	稻绿蝽 Nezara viridula	119
13	桃小食心虫 Carposina sasakii	37		46	褐飞虱 Nilaparvata lugens	236
14	红褐斑腿蝗 Catantops pinguis	150		47	黑翅土白蚁 Odontotermes formosanus	94
15	咖啡透翅天蛾 Cephonodes hylas	223		48	中华稻蝗 Oxya chinensis	112
16	曲纹紫灰蝶 Chilades pandava	260		49	玉带凤蝶 Papilio polytes	212
17	二化螟 Chilo suppressalis	310		50	直纹稻弄蝶 Parnara guttata	170
18	稻蓟马 Chloethrips oryzae	76		51	隐纹谷弄蝶 Pelopidas mathias	120
19	豆天蛾 Clanis bilineata	193		52	苹掌舟蛾 Phalera flavescens	112
20	稻棘缘蝽 Cletus punctiger	60		53	扶桑绵粉蚧 Phenacoccus solenopsis	81
21	长肩棘缘蝽 Cletus trigonus	92		54	菜粉蝶 Pieris rapae	470
22	稻纵卷叶螟 Cnaphalocrocis medinalis	312		55	小菜蛾 Plutella xylostella	80
23	中华草螽 Conocephalus chinensis	99		56	白星花金龟 Protaetia brevitarsis	190
24	稻象甲 Echinocnemus squameus	76		57	紫茎甲 Sagra femorata purpurea	91
25	豆芫菁 Epicauta gorhami	62		58	大螟 Sesamia inferens	144
26	麻皮蝽 Erthesina fullo	74		59	黑额光叶甲 Smaragdina nigrifrons	65
27	宽边黄粉蝶 Eurema hecabe	280		60	白背飞虱 Sogatella furcifera	150
28	硕蝽 Eurostus validus	86		61	甜菜夜蛾 Spodoptera exigua	150
29	菜蝽 Eurydema dominulus	99		62	草地贪夜蛾 Spodoptera frugiperda	66
30	梨小食心虫 Grapholita molesta	56		63	斜纹夜蛾 Spodoptera litura	150
31	蟋蟀 Gryllidae	130		64	红脊长蝽 Tropidothorax elegans	62
32	蝼蛄 Gryllotalpa spps	132		65	大红蛱蝶 Vanessa indica	130
33	棉铃虫 Helicoverpa armigera	108		66	短角外斑腿蝗 Xenocatantops brachycerus	112

新窗口打开|下载CSV

1.3 图像预处理

不同的农田不同的用户,拍摄的害虫图像背景和害虫在整幅图像中所占区域比例差异较大。为了提高害虫的识别率,从图像中以长宽1﹕1比例裁剪害虫区域,并将图像缩放至统一尺寸224×224像素。

深度学习中卷积神经网络模型需要大量的训练样本。由于本文部分害虫种类图像样本量较少,为了提高模型的泛化能力和鲁棒性,通过增加图像对比度与亮度、添加噪声和旋转90度3种方法^[32]对原始图像进行数据增强,训练集扩增3倍。

1.4 农业害虫深度学习模型的建立与训练

目前,图像识别效果较好的CNN有CaffeNet^[33],VGG^[34],GoogLeNet^[35]、ResNet^[36]和DenseNet^[37]等。由于DenseNet在多个图像识别任务中表现出色^[38,39,40],本文建立基于DenseNet的农业害虫识别模型。

1.4.1 DenseNet模型的建立 DenseNet网络结构主

要由Dense Block和Transition层组成,其核心是采用密集连接机制,即每个层都会接受其前面所有层所学习的特征图作为输入（图3）。在每个Dense Block中,各个层的特征图大小一致,可以在通道维度上连接,每层之间采用非线性组合函数BN+ReLU+3×3 Conv的结构,如图4所示。Transition Layer处在2个Dense Block中间,包含1×1卷积层和2×2平均池化层。1×1卷积是为了在Dense Block结束后减少其特征图的通道数,2×2池化层可以降低特征图的尺寸。

图3

新窗口打开|下载原图ZIP|生成PPT
图3DenseNet的网络结构

Fig. 3Network architecture of DenseNet

图4

新窗口打开|下载原图ZIP|生成PPT
图4Dense Block中的非线性转换结构

Fig. 4Nonlinear transformation structure in Dense Block



DenseNet采用密集连接的网络结构,加强了特征传播,实现了特征复用,极大减少了参数数量,抑制了过拟合的同时也减轻了梯度消失的影响。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能。

本文建立基于DenseNet121的农业害虫识别模型。

1.4.2 DenseNet模型的训练 首先,对DenseNet模型权值参数进行初始化。为了避免数据过拟合和获得较高鲁棒性的模型,利用迁移学习方法,在ImageNet数据集^[41]上训练迭代31万次后得到权值文件初始化DenseNet网络权值。

然后,将DenseNet模型训练学习参数设定为：采用随机梯度下降法Stochastic Gradient Descent（SGD）,初始学习速率为0.001,学习速率的衰减策略为multistep,gamma为0.1,冲量为0.9,权重衰减率为0.0005,迭代次数为100 000次。为了加快模型收敛和损失下降,分别在迭代次数为50 000次和80 000次时对学习率进行了更新。训练输入图像大小为224×224像素,损失函数采用softmax,输出结果为66种农业害虫。

最后,使用初始化的参数对训练图像进行前向传播操作计算误差,再使用反向传播算法调整权值参数,通过不断的迭代使损失函数收敛到最小值,将此时训练出的权值参数作为农业害虫识别模型的最终权值参数。

1.4.3 其他深度学习模型 为了验证基于DenseNet的农业害虫识别模型的有效性,本文选择了应用较广泛的CaffeNet、VGG19、GoogleNet和ResNet101 4个模型与DenseNet121进行比较。这4个模型初始学习速率均为0.001,迭代次数为100 000,学习策略除了ResNet101采用multistep,其余均采用step,具体细节分别参考文献[42,43,44,45]。5个模型在同一个测试集进行测试,并通过识别率和虚警率来评价某类害虫的识别情况。

（1）识别率=识别正确的某类害虫数量/测试集中某类害虫的总数
（2）虚警率=被误判为某类害虫的数量/被判为某类害虫的总数
1.4.4 模型运行环境 本文所有模型是在装有Caffe深度学习框架下,CPU为i5-4590@3.30GHz,GPU为NVIDIA GeForce GTX 1080Ti,主机内存为16.00GB的台式机上进行训练和测试。

1.5 移动终端APP的设计与实现

1.5.1 Android客户端的开发 在Windows 7平台搭建Android集成开发环境（Android Studio IDE）,用于安卓平台应用程序的开发。使用Okhttp网络传输框架与服务器进行数据交换,下载第三方jar开发包,放置在lib目录下,同步之后解析为so文件,然后进行第三方api的调用。

1.5.2 农业害虫智能识别系统的APP设计与实现

APP的UI界面采用底部导航栏样式。APP界面中包括用户登录模块、害虫信息查询模块、害虫智能识别模块、害虫地图记录模块和害虫专家鉴定模块。

用户登录模块通过发送post请求并携带用户名,密码等信息参数访问服务器,服务器接受请求后返回回调信息onSuccess()/onFailure(),显示登录成功/失败状态。

害虫信息查询模块使用ViewPager组件切换不同的View界面,使用SearchView控件和ListView控件相结合的方式编写实现害虫介绍界面,通过Filter实现害虫界面的搜索功能。

害虫智能识别模块中提供了相机拍照和图库选择2种图像获取方式,采用HTTP协议进行手机与服务器的信息交互,服务器端接收到图像后调用害虫识别模型进行识别,最后将识别结果按Json数据格式反馈回客户端。

害虫地图记录模块利用百度的Android地图SDK接口,通过GPS定位功能获取到设备当前位置,服务器会将附近的害虫信息以Json数据格式返回,客户端解析后结合Glide图像加载库在地图上显示识别过的害虫分布地点和距离。

害虫专家鉴定模块主要利用MySQL数据库,只有身份信息为“专家”的用户才可进行害虫的鉴定。服务器会将用户不满意的识别记录存储至MySQL数据库中,专家用户可对记录的识别图片所属种类进行鉴定,鉴定结果将反馈给用户。

1.5.3 服务器端识别模型的部署 将农业害虫识别模型的程序打包部署在阿里云远程服务器上,同时添加了模型训练过程中的均值文件、权值文件和标签文件,将调用模型和输出识别结果的程序编译成dll动态链接库。当服务器端接收到移动端传输的害虫图像时,运行dll动态链接库文件,调用害虫识别模型对上传的图像进行识别,服务器将识别结果反馈给客户端的同时将上传的图像和识别结果保存在数据库中,便于未来对害虫图像的追溯。

2 结果

2.1 农业害虫识别结果

2.1.1 损失曲线分析 迭代次数是训练CNN模型的主要参数之一,将迭代过程中的损失值绘制成损失曲线,用来评估训练过程中模型的学习状态。图5给出了5种CNN模型训练时的损失曲线。从图中可以看出,随着迭代次数的增加,5种模型的损失曲线均逐渐下降;在迭代到8万次时,曲线波动较小,表明模型趋于收敛。DenseNet121的损失曲线相比于其他模型的曲线波动更小,损失值更小,训练损失更稳定,模型学习情况与收敛情况良好。

图5

新窗口打开|下载原图ZIP|生成PPT
图55种CNN模型的损失曲线

Fig. 5Loss curves of five CNN models



2.1.2 特征图可视化 卷积神经网络具有自动提取特征的能力,特别是浅层网络具有提取更多的特征和关键特征的能力。为了观察模型在前向传播过程中卷积层的响应结果,使用反卷积的方法可以将各层提取的特征可视化。图6-（a）为2种害虫的原图,图6-（b）为第一个卷积层获得的可视化特征图,图6-（c）为第一个池化层的可视化特征图。从图中可以看出在复杂背景下,害虫的轮廓特征被提取出来了。

图6

新窗口打开|下载原图ZIP|生成PPT
图6害虫特征图可视化

（a）原图;（b）第一层卷积;（c）第一层池化
Fig. 6Visualization of pest feature map

(a) raw image; (b) Image features after the first convolution; (c) Image features of the first pooling


2.1.3 识别结果与分析 如果以相似度第1作为识别结果,5种CNN模型在测试集上的识别率和虚警率见表2。从表2中可以看出,5种CNN模型均获得了超过85%的识别率,特别是DenseNet121模型获得了最高的识别率,为93.9%,表明利用卷积神经网络可以实现自然环境下多类农业害虫的自动识别,具有较高的识别率。

Table 2
表2
表2不同CNN模型对66种农业害虫的识别结果
Table 2Identification results of 66 species of agricultural pests by different CNN models

评价方法Evaluation measures	CaffeNet	GoogleNet	VGG19	ResNet101	DenseNet121
平均识别率Average identification rate (%)	86.2	87.4	88.3	91.7	93.9
平均虚警率Average false alarm rate (%)	16.5	17.1	16.4	11.9	8.2

新窗口打开|下载CSV

从平均虚警率来看,相比其他模型,DenseNet121获得了最低的虚警率,说明了DenseNet121模型在测试图片中对害虫种类误判较少,识别效果较为出色。最终选择DenseNet121作为农业害虫的识别模型。

图7给出了DenseNet121模型在训练过程中的准确率曲线,从图中可以看出,在训练过程中准确率曲线稳步上升,在迭代80 000次后准确率曲线逐渐趋于平稳,本文选取了迭代100 000次时的模型。

图7

新窗口打开|下载原图ZIP|生成PPT
图7DenseNet121准确率曲线

Fig. 7Densenet121 accuracy curve



在误判的害虫中,主要是外形相似的害虫容易被误判。图8给出了部分外观相似的害虫之间出现误判的图例。图8-（a,b,c）害虫分别被误判为图8-（d,e,f）的害虫。

图8

新窗口打开|下载原图ZIP|生成PPT
图8部分误判的害虫图像

Fig. 8Some images from misidentified pests



图8-（a）的东亚飞蝗被误判为图8-（d）的中华稻蝗,2种害虫同属蝗亚目,体型、外观较为接近,头部以及腿部都极为相似。图8-（b）隐纹谷弄蝶被误判为直纹稻弄蝶,这2种害虫外形相似,主要靠前翅上的白色斑点进行区分,隐纹谷弄蝶前翅和后翅上共有8个半透明的白斑,排成不整齐环状,而直纹稻弄蝶后翅中间具4个白色透明斑,呈直线或近直线排列。图8-（c）大螟被误判为劳氏粘虫,2种害虫同属夜蛾科,外形极为相似,大螟前翅中间具小黑点4个排成四角形,劳氏粘虫前翅从基部中央到翅长约2/3处有一暗黑色带状纹,中室下角有一明显的小白斑。对于这些外形相似的害虫,需要更多的训练样本来降低虚警率。

2.2 移动终端APP

移动终端APP可以安装在具有Android系统的手机或Pad上。图9显示了手机移动终端APP界面截图,包括用户登录、害虫信息查询、害虫图像采集、害虫识别结果、害虫地图记录和害虫专家诊断界面。

图9

新窗口打开|下载原图ZIP|生成PPT
图9基于安卓手机移动终端的农业害虫识别APP的界面

Fig. 9APP interface of agricultural pest identification based on Android mobile phone



用户打开害虫智能识别系统APP,显示用户登录界面图9-（a）,新用户需要点击下方的注册账号进行注册。用户分为普通用户和专家,当用户注册专家时,需要经过后台管理人员进行审核,审核通过后,方可行使专家鉴定的权利。注册专家一般为有经验的基层植保人员、农业害虫研究人员或昆虫分类学家。当普通用户登录后将进入图9-（b）的界面,显示用户采集害虫图像的地理位置,点击相机,进入害虫图像采集界面9-（c）,可以利用相机拍摄或打开相册选取某幅图像,将图像上传至服务器端,服务器端的害虫识别模型运行并将识别结果与待识别图像中害虫的相似度从高到低前5种害虫依次显示在移动终端的屏幕上,识别界面如图9-（d）。图9-（e）为害虫信息查询界面,用户可通过左侧滑动条查看农业害虫的相关信息,或者使用关键字查找的方式找到想要了解的害虫。图9-（f）为害虫详细信息,主要包括害虫的形态特征、发生地区分布、生物防治和药剂防治等。若用户对智能识别结果有异议,可以请求专家进行鉴定。用户为专家时,可进入鉴定界面对用户提交的图像进行鉴定,如图9-（g）。图9-（h）显示了用户使用该系统APP识别害虫的历史。

当用户将一张待识别的害虫图像发送到服务器,服务器调用害虫识别模型并反馈结果,所需要花费的时间约为1—2 s,可以满足用户的实时需求。

3 讨论

深度学习方法和智能移动工具为田间农业害虫的实时智能识别提供了很好的技术和载体。众所周知,大量的训练样本是获得高鲁棒性和强泛化能力的卷积神经网络模型的前提。本文在部分害虫的训练样本量不足的前提下,通过图像增强的方法来提高模型的识别能力。后续通过本系统的推广和应用,利用用户上传的害虫图像收集更多的训练样本,增加模型的鲁棒性和泛化能力。

本文识别的农业害虫种类数为66种,虽然比已有的文献中识别种类更多,但实际上田间的害虫种类远远超过此数。要收集每种害虫多幅图像则需要更多农业昆虫爱好者或研究者或相关组织发动大家一起完成。

本文通过不同CNN模型比较,获得基于DenseNet模型的农业害虫的平均识别率最高,以相似度第1作为识别结果,则该模型识别率达到93.9%,如果以相似度前3作为识别结果,则该模型识别率达到96.8%。未来可以通过训练样本的积累,进一步增加农业害虫的识别种类,提高农业害虫的识别率和识别模型的泛化能力。

通过广大用户使用该系统APP,实现了害虫发生地的定位,这有利于农业害虫测报人员发现不同害虫发生的时间、地点和范围等信息,便于做出更合理的防治策略。

4 结论

面向移动终端的农业害虫智能识别系统包括安卓客户端APP、服务器和基于DenseNet121农业害虫识别模型。该系统APP包含农业害虫图像智能识别、害虫生物与防治信息查询、专家鉴定和害虫发生点的定位等功能。用户在农田遇到不认识的害虫时,可通过该系统APP拍摄害虫图像,并上传到服务器,识别结果在1—2 s内反馈到用户移动终端的屏幕上,对识别结果不满意还可提请专家进行鉴定。该系统对66种常见农业害虫的识别率为93.9%,虚警率为8.2%。

面向移动终端的农业害虫智能识别系统为广大农户和基层植保人员提供了一个快捷的害虫智能识别工具,实现了农户“一对一”的防治指导,辅助基层测报人员识别田间害虫种类,通过专家远程鉴定,大大节约经济和时间的成本。

参考文献 View Option 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子

[1] 刘德营. 稻飞虱自动识别关键技术的研究
[D]. 南京: 南京农业大学, 2011.
[本文引用: 1]

LIU D Y. Study on automatic identification technology for rice plant hoppers
[D]. Nanjing: Nanjing Agricultural University, 2011. (in Chinese)
[本文引用: 1]

[2] 吴翔. 基于机器视觉的害虫识别方法研究
[D]. 杭州: 浙江大学, 2016.
[本文引用: 1]

WU X. Study on identification of pests based on machine vision
[D]. Hangzhou: Zhejiang University, 2016. (in Chinese)
[本文引用: 1]

[3] 杨慧勇, 高灵旺, 牛国飞, 乔建, 刘伟, 邢鲲, 王鑫, 李捷. 农业害虫远程自动识别诊断系统应用技术研究
山西农业科学, 2010,38(6):40-42.
[本文引用: 1]

YANG H Y, GAO L W, NIU G F, QIAO J, LIU W, XING K, WANG X, LI J. Technology research of agricultural pests remote automatic diagnosis system
Journal of Shanxi Agricultural Sciences, 2010,38(6):40-42. (in Chinese)
[本文引用: 1]

[4] HAN Y Q, SHAN X, ZHU D. Design and implementation of locust data collecting system based on android
Advances in Computer Science and Education Applications, 2011,2:328-337.
[本文引用: 1]

[5] 张谷丰, 罗岗, 孙雪梅. 基于Android的水稻害虫诊断系统
应用昆虫学报, 2015,4:837-843.
[本文引用: 1]

ZHANG G F, LUO G, SUN X M. An android, mobile phone-based identification system for rice insects
Chinese Journal of Applied Entomology, 2015,4:837-843. (in Chinese)
[本文引用: 1]

[6] 朱莉, 罗靖, 徐胜勇, 杨勇, 赵海涛, 李卫豪. 基于颜色特征的油菜害虫机器视觉诊断研究
农机化研究, 2016,38(6):55-58.
[本文引用: 2]

ZHU L, LUO J, XU S Y, YANG Y, ZHAO H T, LI W H. Machine vision recognition of rapeseed pests based on color feature
Journal of Agricultural Mechanization Research, 2016,38(6):55-58. (in Chinese)
[本文引用: 2]

[7] 王德发. 基于图像识别的储粮害虫检测
[D]. 北京: 北京邮电大学, 2017.
[本文引用: 1]

WANG D F. Detection of stored grain pests based on image recognition
Beijing: Beijing University of Posts and Telecommunications, 2017. (in Chinese)
[本文引用: 1]

[8] WEN C, GUYER D. Image-based orchard insect automated identification and classification method
Computers and Electronics in Agriculture, 2012,89:110-115.
[本文引用: 2]

[9] JUAN Z, XIAO P C. Field pest identification by an improved Gabor texture segmentation scheme
New Zealand Journal of Agricultural Research, 2007,50(5):719-723.
DOI:10.1080/00288230709510343URL [本文引用: 1]

[10] 程鲁玉, 孟小艳, 达新民. 关于果林中果害虫图像特征高效分类识别仿真
计算机仿真, 2018,35(2):425-428.
[本文引用: 1]

CHENG L Y, MENG X Y, DA X M. Simulation of efficient classification for image characteristics of fruit in fruit pest
Computer Simulation, 2018,35(2):425-428. (in Chinese)
[本文引用: 1]

[11] WEN C, GUYER D E, LI W. Local feature-based identification and classification for orchard insects
Biosystems Engineering, 2009,104(3):299-307.
[本文引用: 3]

[12] LIU T, CHEN W, WU W, SUN C, GUO W, ZHU X. Detection of aphids in wheat fields using a computer vision technique
Biosystems Engineering, 2016,141:82-93.
[本文引用: 1]

[13] QING Y, XIAN D, LIU Q, YANG B, DIAO G, TANG J. Automated counting of rice planthoppers in paddy fields based on image processing
Journal of Integrative Agriculture, 2014,13(8):1736-1745.
[本文引用: 3]

[14] LARIOS N, DENG H, ZHANG W, SARPOLA M, YUEN J, PAASCH R, MOLDENKE A, LYTLE D, CORREA S, MORTENSEN E, SHAPIRO L, DIETTERICH T. Automated insect identification through concatenated histograms of local appearance features: Feature vector generation and region detection fordeformable objects
Machine Vision and Applications, 2008,19(2):105-123.
[本文引用: 1]

[15] 胡永强, 宋良图, 张洁, 谢成军, 李瑞. 基于稀疏表示的多特征融合害虫图像识别
模式识别与人工智能, 2014,27(11):985-992.
URL [本文引用: 2]
Aiming at the characteristics of different pest images with different colors, shapes and textures, a pest recognition method based on sparse representation and multi-feature fusion is proposed, which uses a matrix of labeled training samples to construct different dictionaries. The recognition result is achieved by solving optimal sparse coefficients with the corresponding feature dictionary. Furthermore, a novel learning method, which can be improved efficiently by jointly optimizing classifier weights, is presented to effectively fuse multiple features for pest categorization. The experimental results on real datasets show that the proposed method performs well on pest species recognition either in laboratory or in farmland.
HU Y Q, SONG L T, ZHANG J, XIE C J, LI R. Pest image recognition of multi-feature fusion based on sparse representation
Pattern Recognition and Artificial Intelligence, 2014,27(11):985-992. (in Chinese)
URL [本文引用: 2]
Aiming at the characteristics of different pest images with different colors, shapes and textures, a pest recognition method based on sparse representation and multi-feature fusion is proposed, which uses a matrix of labeled training samples to construct different dictionaries. The recognition result is achieved by solving optimal sparse coefficients with the corresponding feature dictionary. Furthermore, a novel learning method, which can be improved efficiently by jointly optimizing classifier weights, is presented to effectively fuse multiple features for pest categorization. The experimental results on real datasets show that the proposed method performs well on pest species recognition either in laboratory or in farmland.

[16] WEN C, WU D, HU H, PAN W. Pose estimation-dependent identification method for field moth images using deep learning architecture
Biosystems Engineering, 2015,136:117-128.
[本文引用: 1]

[17] ESPINOZA K, VALERA D L, TORRES J A, LóPEZ A, MOLINA-AIZ F. Combination of image processing and artificial neural networks as a novel approach for the identification of Bemisia tabaci and Frankliniellaoccidentalis on sticky traps in greenhouse agriculture
Computers and Electronics in Agriculture, 2016,127:495-505.
DOI:10.1016/j.compag.2016.07.008URL [本文引用: 1]

[18] 周曼, 周明全. 基于BP神经网络的水稻害虫自动识别
北京师范大学学报(自然科学版), 2008,44(2):165-167.
[本文引用: 1]

ZHOU M, ZHOU M Q. Automatic rice pest insects recognition based on bp neural network
Journal of Beijing Normal University(Natural Science), 2008,44(2):165-167. (in Chinese)
[本文引用: 1]

[19] XIE C, ZHANG J, LI R, LI J, HONG P, XIA J, CHEN P. Automatic classification for field crop insects via multiple-task sparse representation and multiple-kernel learning
Computers and Electronics in Agriculture, 2015,119:123-132.
DOI:10.1016/j.compag.2015.10.015URL [本文引用: 1]

[20] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks. Proceedings of the 25^th International Conference on Neural Information Processing Systems
Lake Tahoe,America, 2012: 1097-1105.
[本文引用: 1]

[21] LIU Z, GAO J, YANG G, ZHANG H, HE Y. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network
Scientific Reports, 2016,6:1-12.
URLPMID:28442746 [本文引用: 2]

[22] DING W, TAYLOR G. Automatic moth detection from trap images for pest management
Computers & Electronics in Agriculture, 2016,123:17-28.
[本文引用: 2]

[23] 陈娟, 陈良勇, 王生生, 赵慧颖, 温长吉. 基于改进残差网络的园林害虫图像识别
农业机械学报, 2019,50(5):187-195.
[本文引用: 2]

CHEN J, CHEN L Y, WANG S S, ZHAO H Y, WEN C J. Pest image recognition of garden based on improved residual network
Transactions of the Chinese Society for Agricultural Machinery, 2019,50(5):187-195. (in Chinese)
[本文引用: 2]

[24] CHENG X, ZHANG Y, CHEN Y, WU Y, YUE Y. Pest identification via deep residual learning in complex background
Computers and Electronics in Agriculture, 2017,141:351-356.
DOI:10.1016/j.compag.2017.08.005URL [本文引用: 2]

[25] XIA D, CHEN P, WANG B, ZHANG J, XIE C. Insect detection and classification based on an improved convolutional neural network
Sensors, 2018,18(12):1-12.
[本文引用: 2]

[26] LIU L, WANG R, XIE C, WANG F. PestNet: An end-to-end deep learning approach for large-scale multi-class pest detection and classification
IEEE Access, 2019,7:45301-45312.
[本文引用: 2]

[27] ALFARISY A A, CHEN Q, GUO M. Deep learning based classification for paddy pests & diseases recognition
Proceedings of 2018 International Conference on Mathematics and Artificial Intelligence. Chengdu,China, 2018: 21-25.
[本文引用: 2]

[28] 沙小梅, 张路正. 识花软件在花卉栽培与室内装饰课程教学中的应用——以形色(赏花识花APP)为例
课程教育研究, 2018,37:227.
[本文引用: 1]

SHAO X M, ZHANG L Z. Application of flower recognition software in flower cultivation and interior decoration course teaching--take xingse(identifying flowers app) for example
Course Education Research, 2018,37:227. (in Chinese)
[本文引用: 1]

[29] 王桢, 何建勇. 花伴侣:把“植物大百科”装进小口袋
绿化与生活, 2017,10:30-31.
[本文引用: 1]

WANG Z, HE J Y. Flower companion: Put "encyclopedia of plants" in your pocket
Greening and Life, 2017,10:30-31. (in Chinese)
[本文引用: 1]

[30] 樊景超. 基于MobileNets的果园害虫分类识别模型研究
天津农业科学, 2018,24(9):11-13.
[本文引用: 1]

FAN J C. Study on classification and recognition of orchard pests based on mobile nets
Tianjin Agricultural Sciences, 2018,24(9):11-13. (in Chinese)
[本文引用: 1]

[31] 赵彬宇, 周慧玲, 李江涛, 严晓平, 韩康榕. 储粮害虫智能图鉴及图像识别APP软件设计
粮食储藏, 2019,48(3):42-46.
[本文引用: 1]

ZHAO B Y, ZHOU H L, LI J T, YAN X P, HAN K R. Mobile app design for stored grain insect illustration guide and image recognition
Grain Storage, 2019,48(3):42-46. (in Chinese)
[本文引用: 1]

[32] SHORTEN C, KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning
Journal of Big Data, 2019,6(1):1-48.
DOI:10.1186/s40537-018-0162-3URL [本文引用: 1]

[33] HOU J, SU H Y, YAN B, ZHENG H, SUN Z, CAI X. Classification of tongue color based on CNN
Proceedings of IEEE 2nd International Conference on Big Data Analysis.Beijing,China, 2017: 725-729 .
[本文引用: 1]

[34] DENG L M, WANG Y J, HAN Z Z, YU R R. Research on insect pest image detection and recognition based on bio-inspired methods
Biosystems Engineering, 2018,169:139-148.
DOI:10.1016/j.biosystemseng.2018.02.008URL [本文引用: 1]

[35] SZEGEDY C, LIU W, JIA Y, SERMANET P, REED S, ANGUELOV D, ERHAN D, VANHOUCKE V, RABINOVICH A. Going deeper with convolutions
Proceedings of the IEEE conference on computer vision and pattern recognition, Boston. USA, 2015: 1-9.
[本文引用: 1]

[36] WU Z, SHEN C, VAN DEN HENGEL A. Wider or deeper: Revisiting the resnet model for visual recognition
Pattern Recognition, 2019,90:119-133.
DOI:10.1016/j.patcog.2019.01.006URL [本文引用: 1]

[37] HUANG G, LIU Z, VAN DER MAATEN L, KILIAN Q. Densely connected convolutional networks
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Ameriaca, 2017: 4700-4708.
[本文引用: 1]

[38] 杨婧, 耿辰, 王海林, 纪建松, 戴亚康. 基于DenseNet的低分辨CT影像肺腺癌组织学亚型分类
浙江大学学报(工学版), 2019,53(6):1164-1170.
[本文引用: 1]

YANG J, GENG C, WANG H L, JI J S, DAI Y K. Classification on histological subtypes of lung adenocarcinoma from low-resolution CT images based on DenseNet
Journal of Zhejiang University (Engineering Science), 2019,53(6):1164-1170. (in Chinese)
[本文引用: 1]

[39] ZHU Y, NEWSAM S. Densenet for dense flow.
2017 IEEE International Conference on Image Processing. Beijing,China, 2017: 790-794.
[本文引用: 1]

[40] 唐明轩. 基于DenseNet的医学图像分割研究与应用
[D]. 成都: 成都信息工程大学, 2018.
[本文引用: 1]

TANG M X. Research and application of medical image segmentation based on densenet
[D]. Chengdu: ChengDu University of Information Engineering, 2018. (in Chinese)
[本文引用: 1]

[41] RUSSAKOVSKY O, DENG J, SU H, KRAUSE J, SATHEESH S, MA S, HUANG Z, KARPATHY S, KHOSLA A, BERNSTEIN M, BERG A, LI F F. Imagenet large scale visual recognition challenge
International Journal of Computer Vision, 2015,115(3):211-252.
DOI:10.1007/s11263-015-0816-yURL [本文引用: 1]

[42] RAVISHANKAR H, SUDHAKAR P, VENKATARAMANI R, THIRUVENKADAM S, ANNANGI P, BABU N, VAIDYA V. Understanding the mechanisms of deep transfer learning for medical images
Deep Learning and Data Labeling for Medical Applications. Springer, 2016: 188-196.
[本文引用: 1]

[43] KE H, CHEN D, LI X, TANG Y, SHAH T, RANJAN R. Towards brain big data classification: Epileptic EEG identification with a lightweight VGGNet on global MIC
IEEE Access, 2018,6:14722-14733.
DOI:10.1109/ACCESS.2018.2810882URL [本文引用: 1]

[44] SZEGEDY C, VANHOUCKE V, IOFFE S, SHLENS J, WOJNA Z. Rethinking the inception architecture for computer vision
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas,USA, 2016: 2818-2826.
[本文引用: 1]

[45] HE K, ZHANG X, REN S, SUN J. Deep residual learning for image recognition
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas,USA, 2016: 770-778.
[本文引用: 1]