张明^1,2, 李鹏², 邓烈², 何绍兰², 易时来², 郑永强², 谢让金², 马岩岩², 吕强^,21 西南大学工程技术学院,重庆 400716
2 西南大学柑桔研究所/中国农业科学院柑桔研究所,重庆 400712

Segmentation of Navel Orange Surface Defects Based on Mask and Brightness Correction Algorithm

ZHANG Ming^1,2, LI Peng², DENG Lie², HE ShaoLan², YI ShiLai², ZHENG YongQiang², XIE RangJin², MA YanYan², Lü Qiang^,2 1 College of Engineering and Technology, Southwest University, Chongqing 400716
2 Citrus Research Institute, Southwest University/Chinese Academy of Agricultural Sciences, Chongqing 400712

通讯作者: 吕强,E-mail： qlu@swu.edu.cn

责任编辑: 赵伶俐
收稿日期:2018-08-6接受日期:2018-11-6网络出版日期:2019-01-16

基金资助:

重庆市重点产业共性关键技术创新专项.cstc2015zdcy-ztzx80001 海南省重点研发计划.ZDYF2017028 中央高校基本科研业务费XDJK2017C017.XDJK2017C017

Received:2018-08-6Accepted:2018-11-6Online:2019-01-16
作者简介 About authors
张明,E-mail：pine_torch@126.com。











摘要
【目的】 本研究旨在有效解决果皮有缺陷的水果图像在去除背景时部分缺陷被误分割为背景,以及水果表面缺陷难以有效分割提取的问题。【方法】 以I分量图来构建掩模模板,根据其灰度直方图信息,通过双峰法选择单一阈值（T=75）分以纽荷尔脐橙为研究对象,提出基于HSI颜色空间模型法去除背景割背景并填充孔洞得到掩模模板I_mask,然后掩模模板I_mask与I分量图通过点乘运算得到去除背景的I分量图;提出基于多尺度高斯函数图像亮度校正算法对去除背景后的I分量图像进行亮度校正,通过构建多尺度高斯函数滤波器,将去除背景后的I分量图与构建的多尺度高斯函数进行卷积运算即得到去除背景后的I分量图像表面光照分量图,最后将去除背景后的I分量图与得到的光照分量图进行点除运算即得到去除背景后的I分量图像亮度校正图;然后采用单一全局阈值法对脐橙表面缺陷进行提取。【结果】 基于HSI颜色空间模型法去除背景,可在有效去除背景的同时完好保留脐橙的表面信息,有利于后续操作;基于多尺度高斯函数的图像亮度校正算法分别对6种常见脐橙缺陷进行图像亮度校正后采用单阈值法提取缺陷,使不同灰度等级的脐橙表面缺陷一次性分割成功,其中分割率最高为100%,最低为88.5%,整体达92.7%。通过试验分析后发现造成部分误分割或漏分割的原因主要在于部分缺陷果缺陷处颜色较轻,与正常区域灰度差较小,从而造成漏分割;还有部分缺陷果由于缺陷面积小,在图像形态学处理过程被误认为是噪声而被去除;同时发现正常果的误判率也达到了10.8%,经分析发现误判的正常果表皮组织区域的褶皱位于图像的边缘区域,从而被误认为是边缘区域的缺陷,导致误判。【结论】 基于HSI颜色空间模型法去除背景及基于多尺度高斯函数的图像亮度不均校正算法对纽荷尔脐橙图像背景分割和去除背景后的I分量图像表面亮度校正均取得了较好的效果,能有效识别脐橙缺陷区域,为脐橙精确分级提供了技术支持,也为其他果品表面缺陷快速检测提供了一种新思路。
关键词： 脐橙;表面缺陷;分割;去除背景;亮度校正;单阈值

Abstract
【Objective】 The purpose of this study was to effectively solve the problem that some defects of fruit images with defective peels were mistakenly divided into backgrounds when removing background, and it was difficult to effectively segment and extract fruit surface defects.【Method】 Taking Newhall navel orange as the research object, this paper proposed to remove the background based on HSI color space model method to construct the mask template with I component image, and to select a single threshold (T=75) by bimodal method according to its gray histogram information and filled the holes to obtain a mask template. At last, the mask template and I component image were obtained by dot multiplication to obtain I component image from which the background was removed. A multi-scale Gaussian function image brightness correction algorithm was proposed to correct the brightness of I component image after removing the background. By constructing a multi-scale Gaussian function filter, I component image with the background removed and the constructed multi-scale Gaussian function filter were convoluted to obtain the surface illumination component image of I component image after the background was removed. Finally, the I component image after removing the background and the obtained illumination component image were subjected to dot division operation to obtain a luminance correction image of the I component image after the background was removed. At last, the surface defects of navel orange were extracted by a single global threshold method.【Result】 The background was removed based on the HSI color space model method, and the surface information of the navel orange could be preserved while the background was effectively removed, which was beneficial to subsequent operations. The image brightness correction algorithm based on multi-scale Gaussian function was used to extract the defects of the six common navel orange defects, and then the single-threshold method was used to extract the defects. Therefore the surface defects of navel oranges with different gray levels were successfully segmented at one time, and the segmentation rate was up to 100%, the lowest was 88.5%, and the total was 92.7%. Through experimental analysis, it was found that the cause of partial mis-segmentation or leakage segmentation was mainly due to the fact that some defects were lighter in color, and the difference in gray level from normal region was smaller, resulting in leakage segmentation. There were still some defects due to the small defect area, which was mistaken for noise removal during image morphology processing. At the same time, the false positive rate of normal fruit was also found to be 10.8%. It was found that the fold of a part of the normal fruit epidermal tissue area was located in the edge area of the image, which was mistaken for the defect of the edge area, resulting in misjudgment.【Conclusion】 The experimental results showed that image removal based on HSI color space model and image brightness unevenness correction algorithm based on multi-scale Gaussian function had achieved good results for background image segmentation of Newhall navel orange image and I component image surface brightness correction after background removal. It provided technical support for the precise grading of navel oranges and also provided a new idea for the rapid detection of other fruit surface defects.
Keywords：navel orange;surface defect;segmentation;remove background;brightness correction;single threshold


PDF (3450KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
张明, 李鹏, 邓烈, 何绍兰, 易时来, 郑永强, 谢让金, 马岩岩, 吕强. 基于掩模及亮度校正算法的脐橙表面缺陷分割[J]. 中国农业科学, 2019, 52(2): 327-338 doi:10.3864/j.issn.0578-1752.2019.02.011
ZHANG Ming, LI Peng, DENG Lie, HE ShaoLan, YI ShiLai, ZHENG YongQiang, XIE RangJin, MA YanYan, Lü Qiang. Segmentation of Navel Orange Surface Defects Based on Mask and Brightness Correction Algorithm[J]. Scientia Acricultura Sinica, 2019, 52(2): 327-338 doi:10.3864/j.issn.0578-1752.2019.02.011

0 引言

【研究意义】水果表面缺陷是决定水果价格最有力的因素之一,表面缺陷检测也一直是水果所有外在品质^{[1,2,3,4,5,6,7]}检测、分级过程中的一个难点,因此,研究水果表面缺陷快速检测技术具有十分重要的意义。【前人研究进展】当前对水果表面缺陷检测的手段主要有3类：基于标准球体模型的处理方法^{[8,9,10,11,12]}、基于表面纹理特征的处理方法^[13]以及基于多光谱成像技术的处理方法^[14,15,16],这些方法对水果表面缺陷检测都取得了一定的效果,但存在着检测水果表面缺陷类型有限、算法较复杂、耗时长、适用性低、成本高等问题,导致难以推广。基于灰度图像的水果表面缺陷检测,使对水果表面缺陷的检测变得相对容易,李江波等^[17,18]通过对去除背景后的R分量图像进行边缘补偿后,利用单阈值法对水果表面缺陷进行提取,结果出现了漏分割现象,分析后发现,漏分割的区域大都位于图像中部高亮区域。由于水果表面是曲面,因此其表面光照后的亮度是不均匀的,表现为边缘灰度值较低,而中部灰度值较高,难以用单阈值法对水果表面缺陷进行分割。为了解决这个难题,李江波等^[19]通过构建巴特沃斯低通滤波器来获得去除背景后I分量图像光照分量,对此光照分量进行亮度均一化校正后,再采用单阈值法分割缺陷,试验表明其整体正确分割率超过99%。图像表面亮度不均导致图像中的一些重要细节信息无法表现出来甚至被掩盖,这不仅影响了图像的视觉效果,而且其应用价值也被削减,因此,消除物体表面亮度不均^{[20,21,22,23]}问题日益成为研究的一个热点。【本研究切入点】水果表面缺陷检测的主要难点之一在于水果一般呈球体或类球体,导致光照反射不均匀,造成水果表面亮度不均,表现为水果边缘区域灰度值低,中部区域灰度值高,而水果表面的缺陷区域通常也是以灰度值较低的方式存在,缺陷区域灰度与正常区域灰度存在交叉,这就为水果表面缺陷快速检测带来了困难,也导致了在对水果表面缺陷进行提取时易造成误分割甚至是无法分割。因此,开展去除图像中的背景及对亮度不均的图像校正研究尤为重要。【拟解决的关键问题】拟采用基于HSI颜色空间模型法去除背景,可在有效去除图像背景的同时完好保留脐橙的表面信息;拟采用基于多尺度高斯函数图像亮度不均校正算法,有效解决脐橙表面亮度不均问题,快速提取脐橙表面缺陷,为脐橙精确分级提供技术支持。

1 材料与方法

1.1 试验设计

1.1.1 试验样本 试验研究对象为纽荷尔脐橙,产地为江西赣州。于2017年12月全部购于当地,共400个,其中正常果65个,缺陷果335个,包括溃疡果49个,蓟马果48个,油斑病果35个,黑斑病果76个,风伤果61个,炭疽病果66个。

1.1.2 图像采集系统 纽荷尔脐橙图像采集系统中硬件包括Lumenera公司生产的LU075C型彩色CCD相机、照明系统以及主控计算机。其中主机为映泰台式机（Intel(R) Core(TM) i3-4150 CPU @3.50GHz,8Gb RAM,Hi-Fi B85S3 (5.0)主板）;照明系统主要由光照箱（长×宽×高分别为65 cm×60 cm×65 cm）、4支灯管（T5-60-10 wms/8 W）,以及遮光板等构成,光照箱内表面为白色,4支灯管分布于四周并在其正上方用遮光板挡住,避免直射相机镜头造成曝光对度使拍摄的图像失真;打开照明系统10 min待光强趋于稳定后开始采集纽荷尔脐橙原始RGB图像信息。为了增强背景与脐橙的颜色反差,采用黑色背景。CCD相机镜头到放置脐橙的载物台垂直距离为300 mm,图像分辨率为640×480,CCD相机芯片尺寸为5.8 mm×4.9 mm,利用公式^[24]计算出该CCD相机的物理空间分辨率为0.25 mm/pixel。

1.2 试验方法

1.2.1 背景分割 相机获取的RGB图像包含脐橙本身和背景,须先将脐橙区域从背景中分离出来。RGB颜色空间模型的三通道分量相互影响且RGB值随光强的变化而发生明显的改变^[25],HSI颜色空间模型比RGB颜色空间模型更符合人眼的视觉特性,且HSI颜色空间模型的3个分量相互独立、互不干扰。因此,本研究采用基于HSI颜色空间模型法去除背景。

提取HSI颜色空间模型的三通道分量图,寻找分量图中脐橙与背景灰度差异明显,脐橙表面缺陷区域与正常区域灰度差最大,最有利于缺陷分割的分量图,利用此分量图构建掩模模板。随后对此分量图进行阈值分割,由于采集的图像背景基本一致,因此根据分量图灰度直方图信息,采用双峰法^[26]选择单一阈值分割图像,分割效率较高。再对分割后的图像进行填孔洞操作,得到一个完整的掩模模板,最后将得到的掩模模板与原来的分量图进行点乘运算得到去除背景的分量图像。

1.2.2 图像亮度校正 从冯斌^[11]、李江波等^[18]试验中发现由于水果呈球形或类球型导致水果表面亮度不均,表现为图像中部区域呈现高亮区,而靠近果实边缘区域灰度值则较低,很难用单阈值分割法来提取缺陷区域。因此,为了有效检测脐橙表面不同程度、不同类型的缺陷,对脐橙整个表面的亮度校正非常有必要。

目前对水果图像亮度不均处理的方法主要有Retinex增强方法^[27]、直方图均衡化法（HE）^[28]以及基于照度-反射模型^[19]的图像亮度不均变换等方法。这些算法的出现都是为了尽可能地改善图像亮度不均问题,其难点在于尽量缩小图像边缘区域与正常区域灰度差的同时,还要拉伸缺陷区域与正常区域间的对比度。本研究在对比几种方法的效果后提出基于多尺度高斯函数图像亮度不均校正算法^[22,23],主要表现在使脐橙较暗的正常表面灰度值增大,而缺陷区域依旧保持较低的灰度值,有利于后续缺陷分割。该算法的具体实现如下：

根据光照-反射成像原理^[29]可知,一幅数字图像可以被认为是一个二维函数p(x,y),p(x,y)的值表示当前坐标(x,y)的亮度,二维图像p(x,y)是由入射分量i(x,y)与反射分量r(x,y)的乘积表示,入射分量表征图像的低频特性,其在空间域上变化比较缓慢,反射分量表征图像的高频特性,其在空间域上变化较快。因此,如果把一幅图像的低频分量从原始图像中分离出来,则此低频分量就是这幅图像的表面亮度信息,对此分量进行亮度校正即可达到改善图像亮度不均的目的。为此,首先构建多尺度高斯函数滤波器,该低通滤波器可以在有效压缩图像动态范围的同时准确预估出场景的照射分量^[30];此照射分量与去除背景后的I分量图像I_orange做卷积运算得到去除背景后的I分量光照分量图像;再对此光照分量图做亮度均一化处理,即将去除背景后的I分量图像I_orange与得到的光照分量图做点除运算,即为去除背景后的I分量亮度校正后的图像。其数学模型如下：

（1）

（2）

（3）

f(x,y)：亮度校正后的图像,F(x,y)：去除背景后的I分量图,I(x,y)：光照分量图,G(x,y)：多尺度高斯函数,λ：尺度因子,μ：归一化常数。

1.2.3 缺陷提取 在对脐橙灰度图像进行亮度不均处理过后,分别对纽荷尔脐橙中的溃疡果、蓟马果、油斑病果、黑斑病果、风伤果、炭疽病果等常见的6种缺陷果进行缺陷检测,此时并不需要复杂的缺陷分割算法对缺陷进行提取,采用单一的全局阈值分割法即可将缺陷区域提取出来,分割效率高。

2 结果

2.1 去除背景

分别提取HSI颜色空间模型图像的3个分量,如图1所示。其中I分量图中脐橙与背景灰度差异明显,且脐橙表面缺陷区域与正常区域灰度差最大,最有利于缺陷的分割,故选择I分量图来构建掩模模板,根据I分量灰度直方图信息,采用双峰法^[26]选择单一阈值（T=75）对I分量进行阈值分割,如图2所示,并进行填充孔洞操作,结果如图3所示,得到一个完整的掩模模板图像I_mask,最后将得到的掩模模板与I分量图做点乘运算,得到去除背景的图像I_orange,如图4所示（本研究中的实施案例均为缺陷果中的黑斑病果）。

图1

新窗口打开|下载原图ZIP|生成PPT
图1原始RGB及分量图像

Fig. 1Original RGB image and component images

图2

新窗口打开|下载原图ZIP|生成PPT
图2I分量灰度直方图

Fig. 2Gray histogram of I component

图3

新窗口打开|下载原图ZIP|生成PPT
图3掩模模板

Fig. 3Mask template

图4

新窗口打开|下载原图ZIP|生成PPT
图4去除背景的I分量

Fig. 4Remove the background of I component

2.2 图像亮度不均处理

基于HSI颜色空间模型掩模法去除背景可以完好无损地保留脐橙正常表皮及缺陷区域信息,但同时也发现去除背景后的脐橙图像本身存在亮度不均等问题,即图像中部区域较亮,边缘区域较暗。为了能有效地检测脐橙表面不同程度、不同种类的缺陷,利用经典Retinex增强算法、HE算法、基于照度-反射模型的图像亮度不均变换以及本文提出的基于多尺度高斯函数图像亮度不均校正算法分别对去除背景后的I分量图进行亮度不均校正处理。

经典Retinex算法的处理结果如图5所示。Retinex算法虽然改变了案例图像的亮度,但是并没有达到使图像正常表面提亮,缺陷区域保持较低灰度值的目的,反而使图像亮的区域变得更亮而暗的区域变得更暗,在亮度突变区域还会产生光晕现象^[31],使边缘区域变得模糊,这显然不利于后续的缺陷提取。

图5

新窗口打开|下载原图ZIP|生成PPT
图5Retinex算法图像亮度校正

Fig. 5Image brightness correction based on Retinex algorithm



HE算法的处理结果如图6所示。从亮度校正图像中可以看出图像整体亮度明显提升,但图像中部区域亮度明显比边缘区域要亮很多,校正后的图像亮度并不均匀,且图像存在过增强现象^[32],改变了图像的原始面貌并丢失图像中的细节。

图6

新窗口打开|下载原图ZIP|生成PPT
图6直方图均衡化算法图像亮度校正

Fig. 6Image brightness correction based on HE algorithm



基于照度-反射模型的图像亮度不均变换的处理结果如图7所示（截止频率D₀=6）。校正后的图像亮度比较均匀且图像边缘的灰度值也被提高,而图像缺陷区域仍保持较低的灰度值,与李江波等^[17]对脐橙图像亮度不均处理的结论一致。但该算法在首次运行时截止频率D₀不确定,导致亮度校正图像的不确定,需选出最优截止频率;其次,该算法需经过时域和频域之间的转换,因此该算法较耗时,在对该算法进行测试时也证实了这一点。

图7

新窗口打开|下载原图ZIP|生成PPT
图7照度-反射理论图像亮度校正

Fig. 7Image brightness correction based on illumination- reflection theory



提出的基于多尺度高斯函数图像亮度不均校正算法的处理结果如图8所示（尺度因子λ取65、300、570,对应权重分别取0.2、0.1、0.6）。从图中可以看出图像亮度与边缘区域的灰度均显著提升,且缺陷区域依旧保持较低的灰度值,有利于后续对缺陷的提取。

图8

新窗口打开|下载原图ZIP|生成PPT
图8多尺度高斯函数图像亮度校正

Fig. 8Image theory brightness correction based on multi-scale Gaussian function



在对图像亮度校正前,脐橙图像亮度呈现出不均匀状,即中间亮、边缘暗。在应用亮度校正理论后,整个脐橙表面亮度呈均匀分布且缺陷区域依旧保持较低的灰度值,这一点在图9中表现的更加明显。利用强度曲线图穿过缺陷区域来对以上算法进行验证,可以发现,基于多尺度高斯函数的图像亮度校正算法不论是图像中部区域还是边缘区域,均被校正为高亮区域,而缺陷区域依旧保持较低的灰度值,且高亮区域与缺陷区域的灰度差较明显,有利于对缺陷的提取。

图9

新窗口打开|下载原图ZIP|生成PPT
图9穿过图像缺陷处的灰度剖面线

Fig. 9Gray-scale hatching through the image defect



本研究提出的亮度校正算法在图像亮度校正上取得较为理想的结果,且该算法运算耗时最少,平均每幅图像用时0.49 s（表1）,仅为照度-反射理论算法耗时的22.17%。

Table 1
表1
表1各类算法的耗时时间
Table 1Time-consuming time for various algorithms

算法种类 Algorithm type	亮度校正算法平均耗时 Brightness correction algorithm average time consuming (s)
Retinex算法 Retinex algorithm	0.64
HE算法 HE algorithm	0.53
照度-反射理论 Illumination-reflection theory	2.21
多尺度高斯函数算法 Multiscale Gaussian function algorithm	0.49

新窗口打开|下载CSV

由以上综合数据可以得出本研究提出的基于多尺度高斯函数的图像亮度校正算法不仅在图像亮度校正中有较好的效果,在运算速度上较其他几种算法也具有优势,尽管校正后的图像可能还存在少数的噪点,但并不影响校正后图像的整体效果。

2.3 缺陷提取

通过对去除背景后的I分量图像I_orange进行基于多尺度高斯函数图像亮度校正,脐橙图像表面缺陷区域灰度值与正常区域灰度值有较明显的差异,可采用全局单阈值法将缺陷区域快速分割。为了验证算法的有效性和适应性,利用该算法分别对样本中的溃疡果、蓟马果、油斑病果、黑斑病果、风伤果、炭疽病果等6种常见缺陷果进行缺陷提取,结果如图10。

图10

新窗口打开|下载原图ZIP|生成PPT
图10不同缺陷分割结果

Fig. 10Different defect segmentation results



对400幅脐橙图像进行缺陷提取,缺陷分割结果见表2。结果表明,炭疽病果的缺陷分割率为100%,蓟马果和风伤果分割率最低,分别为89.6%、88.5%。分析发现,黑斑病果与炭疽病果缺陷面积大且颜色深,与正常果皮的灰度差大,易分割;而部分风伤果、蓟马果和黑斑病果由于其缺陷颜色浅,与正常果皮的灰度差较小,造成缺陷的漏分割;部分溃疡果的误分割主要是其缺陷处于图像中部区域即图像中的高亮区域且病害程度较轻,与正常果皮灰度差较小,从而导致不易被检测到,而部分溃疡果由于缺陷面积太小,在进行图像形态学去噪过程中被误认为是噪声而去除;正常果的误判率达10.8%,由于部分正常果表面组织区域的褶皱位于图像的边缘区域,从而被误认是边缘区域的缺陷,导致误判。

Table 2
表2
表2基于多尺度高斯函数图像亮度校正算法的单阈值缺陷分割结果
Table 2Single threshold defect segmentation result based on multi-scale Gaussian function image brightness correction algorithm

表皮类型 Epidermis type	样本数 Number of samples	分割结果 Segmentation result	识别率 Recognition rate (%)
正常果 Normal fruit	65	58	89.2
溃疡果 Canker fruit	49	45	91.8
蓟马果 Thrips fruit	48	43	89.6
油斑病果 Oil spotting fruit	35	31	88.6
黑斑病果 Blackspot fruit	76	74	97.4
风伤果 Wind damage fruit	61	54	88.5
炭疽病果 Anthracnose fruit	66	66	100.0
合计 Total	400	371	92.7

新窗口打开|下载CSV

3 讨论

水果表面缺陷是水果的重要品质指标之一,国家标准GB/T12947-2008鲜柑橘^[33]对水果表面缺陷信息的完整性,即水果表面缺陷数量和面积大小有严格的规定,因此,对于水果表面缺陷的准确识别尤为重要。

大多数脐橙表面缺陷颜色呈灰黑色,运用单阈值法直接提取缺陷时容易将缺陷误判为背景,不能保证其表面缺陷信息的完整性,从而对后续缺陷的识别造成影响。因此,多位****在对水果表面缺陷识别前都进行了背景分割,背景分割后的图像不仅可以将缺陷误判为背景的可能性降到最低,而且由于去除了背景等无用信息后,缺陷识别的速率也将得到提升。早期研究报道中,****直接对拍摄的图像采用单阈值分割,结果发现水果图像边缘与背景存在毛边现象,针对这一问题,庞江伟^[34]首先根据水果图像背景及表面颜色动态生成阈值进行背景分割,最后通过开发相应算法对误判的点进行恢复,取得了较好的效果,但该算法较为耗时;李江波等^[17,18]基于RGB颜色空间模型去除背景,可将脐橙表面缺陷信息保留下来。但由于RGB图像三分量相互影响,本研究采用更加符合人眼视觉特性的HSI颜色空间模型来去除背景,更重要的是其三分量相互独立,不受彼此影响,可在不破坏水果缺陷部位的前提下准确地将脐橙从背景中分割出来。

近年来,利用机器视觉技术对脐橙表面缺陷进行检测日趋成熟。但其难点之一在于脐橙通常呈球体或椭球体,其边缘光线的反射方向与拍摄相机的夹角较大。根据朗伯光线反射定律,脐橙边缘亮度低,中间亮,表现为脐橙边缘的灰度低,中部区域灰度值大,而脐橙表面缺陷通常也是较低灰度的形式存在,缺陷区域灰度与正常灰度存在交叉,这就导致了对缺陷提取的困难甚至是无法提取,很难采用单一阈值法对脐橙表面缺陷一次性分割成功。因此,本文提出了一种基于多尺度高斯函数亮度校正算法对脐橙表面亮度进行校正,该算法通过对脐橙灰度图像亮度校正,使图像边缘区域与中部区域灰度差缩小,同时拉大缺陷区域与正常区域间的灰度差,使得原本需要复杂算法才能对缺陷进行分割变为采用单阈值法即可实现对脐橙表面缺陷的一次性分割。运用该算法对脐橙常见6种缺陷进行检测后发现,当脐橙表面缺陷区域与正常区域颜色差异明显时,缺陷检测效果显著;但对于某些如碰伤等缺陷较轻或缺陷与正常区域色差较小,检测效果不是很理想;其中风伤果和蓟马果由于其缺陷处颜色较轻、与正常区域表面的灰度差很小,其缺陷不易被提取;部分溃疡果由于表面缺陷面积太小,在图像形态学去噪过程中被误认为是噪声而去除;有文献表明^[35]类似于碰伤类等轻微损伤的缺陷采用高光谱成像技术对其检测效果较好,但由于其获取的数据量较大导致耗时较长,下一步将对这些问题进行研究。

此外,尽管有很多算法用来解决水果表面缺陷难以识别问题,但这些算法大都假设水果为标准球体或椭球体,然而实际上水果是非标农产品,其大小、形状等信息很难预测,因此这些算法的适应性较弱,而本研究提出的基于HSI颜色空间模型掩模法去除背景、基于多尺度高斯函数的亮度校正算法不需要建立参考模型,因此也就无需考虑实际水果的大小和形状信息,其算法适应性较好。

4 结论

提出了一种在不破坏脐橙果皮表面的前提下,脐橙与背景的快速分割方法,这种方法比直接利用单阈值分割背景再对缺陷部位实施补偿的处理算法更快捷、有效,并且在对图像进行背景分割后可以有效保留脐橙表面信息。提出了基于多尺度高斯函数图像亮度不均校正算法,利用简单的全局阈值分割法即可对纽荷尔脐橙表面缺陷一次性分割成功,方便了对水果表面缺陷的检测,同时提高了分割效率。对溃疡果、蓟马果、油斑病果、黑斑病果、风伤果、炭疽病果等6种常见的脐橙表面缺陷样本进行缺陷区域提取,其整体识别率达到92.7%。

参考文献 View Option 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子

[1] VIJAYAREKHA K . Segmentation techniques applied to citrus fruit images for external defect identification
Research Journal of Applied Sciences Engineering & Technology, 2012,4(24):5313-5319.
[本文引用: 1]

[2] ZHANG B H, HUANG W Q, LIANG G, LI J B, ZHAO C J, LIU C L, HUANG D F . Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier
Journal of Food Engineering, 2015,146:143-151.
DOI:10.1016/j.jfoodeng.2014.08.024URL [本文引用: 1]

[3] IQBAL S M, GOPAL A, SANKARANARAYANAN P E, NAIR A B . Classification of selected citrus fruits based on color using machine vision system
International Journal of Food Properties, 2016,19(2):272-288.
DOI:10.1080/10942912.2015.1020439URL [本文引用: 1]

[4] 容典 . 脐橙表面缺陷的机器视觉快速检测研究及嵌入式系统应用
[D]. 杭州: 浙江大学, 2017.
[本文引用: 1]

RONG D . Study on rapid detection of navel orange surface defect based on machine vision and embedded system application
[D]. Hangzhou: Zhejiang University, 2017. ( in Chinese)
[本文引用: 1]

[5] 白雪冰, 宋恩来, 李润佳, 许景涛 . 柑橘表面缺陷图像快速准确分割方法
沈阳农业大学学报, 2018,49(2):242-249.
[本文引用: 1]

BAI X B, SONG E L, LI R J, XU J T . Fast and accurate segmentation method for surface defects of citrus
Journal of Shenyang Agricultural University, 2018,49(2):242-249. (in Chinese)
[本文引用: 1]

[6] 周水琴, 应义斌 . 颜色模型在农产品颜色检测与分级中的应用
浙江大学学报, 2003,29(6):684-688.
[本文引用: 1]

ZHOU S Q, YING Y B . Color models and their applications in color inspection and farm produce grading
Journal of Zhejiang University, 2003,29(6):684-688. (in Chinese)
[本文引用: 1]

[7] THROOP J A, ANESHANSLEY D J, UPCHURCH B L, ANGER B . Apple orientation on two conveyors: Performance and predictability based on fruit shape characteristics
Transactions of the ASAE, 2001,44(1):99-109.
DOI:10.13031/2013.2294URL [本文引用: 1]

[8] LI J, RAO X, WANG F, WU W, YING Y . Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods
Postharvest Biology & Technology, 2013,82(4):59-69.
[本文引用: 1]

[9] 李江波, 饶秀勤, 应义斌 . 水果表面亮度不均校正及单阈值缺陷提取研究
农业机械学报, 2011,42(8):159-163.
[本文引用: 1]

LI J B, RAO X Q, YING Y B . Correction algorithm of illumination nonuniformity on fruit surface and defects extraction using single threshold value
Transactions of the Chinese Society of Agricultural Machinery, 2011,42(8):159-163. (in Chinese)
[本文引用: 1]

[10] TAO Y, WEN Z . An adaptive spherical image transform for high-speed fruit defect detection
Transactions of the ASAE, 1999,42(1):241-246.
DOI:10.13031/2013.13201URL [本文引用: 1]

[11] 冯斌, 汪懋华 . 计算机视觉技术识别水果缺陷的一种新方法
中国农业大学学报, 2002,7(4):73-76.
[本文引用: 2]

FENG B, WANG M H . Study on identifying measurement about default of fruit in computer vision
Journal of China Agricultural University, 2002,7(4):73-76. (in Chinese)
[本文引用: 2]

[12] 付峰, 应义斌 . 球体图像灰度变换模型及其在柑桔图像校正中的应用
农业工程学报, 2004,20(4):117-120.
Magsci [本文引用: 1]
由于水果形状不规则，在利用机器视觉和图像处理技术进行水果品质检测和自动分级过程中，会产生图像失真现象。针对这一问题，通过分析在6个位置采集的3种不同尺寸、19种不同表面颜色的标准试验球体的图像，研究了球体的大小、表面颜色和图像采集位置等因素对球体图像灰度失真的影响，并分别建立了位于摄像视区中心的球体图像的灰度校正模型和偏离摄像视区中心的球体图像的灰度校正模型，模型的相关系数R²分别为0.796和0.842。最后，采用该模型在MATLAB软件平台上构建了柑桔图像的灰度校正算法。试验结果
FU F, YING Y B . Gray level transform model of ball image and its application in citrus image correction
Transactions of the Chinese Society of Agricultural Engineering, 2004,20(4):117-120. (in Chinese)
Magsci [本文引用: 1]
由于水果形状不规则，在利用机器视觉和图像处理技术进行水果品质检测和自动分级过程中，会产生图像失真现象。针对这一问题，通过分析在6个位置采集的3种不同尺寸、19种不同表面颜色的标准试验球体的图像，研究了球体的大小、表面颜色和图像采集位置等因素对球体图像灰度失真的影响，并分别建立了位于摄像视区中心的球体图像的灰度校正模型和偏离摄像视区中心的球体图像的灰度校正模型，模型的相关系数R²分别为0.796和0.842。最后，采用该模型在MATLAB软件平台上构建了柑桔图像的灰度校正算法。试验结果

[13] LóPEZ-GARCíA F, ANDREU-GARCíA G, BLASCO J, ALEIXOS N, VALIENTE J M . Automatic detection of skin defects in citrus fruits using a multivariate image analysis approach
Computers & Electronics in Agriculture, 2010,71(2):189-197.
[本文引用: 1]

[14] BLASCO J, ALEIXOS N , GóMEZ J, MOLTó. Citrus sorting by identification of the most common defects using multispectral computer vision
Journal of Food Engineering, 2007,83(3):384-393.
DOI:10.1016/j.jfoodeng.2007.03.027URL [本文引用: 1]

[15] 章海亮, 高俊峰, 何勇 . 基于高光谱成像技术的柑橘缺陷无损检测
农业机械学报, 2013,44(9):177-181.
[本文引用: 1]

ZHANG H L, GAO J F, HE Y . Nondestructive detection of citrus defection using hyper-spectra imaging technology
Transactions of the Chinese Society of Agricultural Machinery, 2013,44(9):177-181. (in Chinese)
[本文引用: 1]

[16] 张保华, 李江波, 樊书祥, 黄文倩, 张驰, 王庆艳, 肖广东 . 高光谱成像技术在果蔬品质与安全无损检测中的原理及应用
光谱学与光谱分析, 2014,34(10):2743-2751.
DOI:10.3964/j.issn.1000-0593(2014)10-2743-09Magsci [本文引用: 1]

ZHANG B H, LI J B, FAN S X, HUANG W Q, ZHANG C, WANG Q Y, XIAO G D . Principles and application of hyperspectral imaging technique in quality and safety inspection of fruits and vegetables
Spectroscopy and Spectral Analysis, 2014,34(10):2743-2751. (in Chinese)
DOI:10.3964/j.issn.1000-0593(2014)10-2743-09Magsci [本文引用: 1]

[17] 李江波 . 脐橙表面缺陷的快速检测方法研究
[D]. 杭州: 浙江大学, 2012.
[本文引用: 3]

LI J B . Study on rapid detection methods of defects on navel orange surface
[D]. Hangzhou: Zhejiang University, 2012. ( in Chinese)
[本文引用: 3]

[18] 李江波, 饶秀勤, 应义斌, 马本学, 郭俊先 . 基于掩模及边缘灰度补偿算法的脐橙背景及表面缺陷分割
农业工程学报, 2009,25(12):133-137.
Magsci [本文引用: 3]
缺陷检测一直是利用计算机视觉技术进行水果自动分级的难点。为了解决带有缺陷的水果在图像分割时部分缺陷容易被误分割为背景这一问题，以脐橙为研究对象，首先提取B分量，利用B分量构建掩模图像，然后对R分量图像进行掩模，从而在不损伤缺陷的情况下实现了水果与背景100%分割。考虑到水果呈球状，检测时边缘灰度较低，在缺陷分割时容易出现误分割，提出快速水果图像边缘灰度补偿算法，利用此算法，对6种常见脐橙缺陷，共计220幅图像，设定分割阈值为165，使不同灰度等级的缺陷一次性分割成功，分割率最高为100%，最低为79.5%。试验结果表明由于单阈值的使用，提高了缺陷分割效率。
LI J B, RAO X Q, YING Y B, MA B X, GUO J X . Background and external defects segmentation of navel orange based on mask and edge gray value compensation algorithm
Transactions of the Chinese Society of Agricultural Engineering, 2009,25(12):133-137. (in Chinese)
Magsci [本文引用: 3]
缺陷检测一直是利用计算机视觉技术进行水果自动分级的难点。为了解决带有缺陷的水果在图像分割时部分缺陷容易被误分割为背景这一问题，以脐橙为研究对象，首先提取B分量，利用B分量构建掩模图像，然后对R分量图像进行掩模，从而在不损伤缺陷的情况下实现了水果与背景100%分割。考虑到水果呈球状，检测时边缘灰度较低，在缺陷分割时容易出现误分割，提出快速水果图像边缘灰度补偿算法，利用此算法，对6种常见脐橙缺陷，共计220幅图像，设定分割阈值为165，使不同灰度等级的缺陷一次性分割成功，分割率最高为100%，最低为79.5%。试验结果表明由于单阈值的使用，提高了缺陷分割效率。

[19] 李江波, 饶秀勤, 应义斌 . 基于照度-反射模型的脐橙表面缺陷检测
农业工程学报, 2011,27(7):338-342.
Magsci [本文引用: 2]
水果表面缺陷是影响水果价格最主要的因素之一，目前大部分研究基于静态图像采用较复杂的算法分割水果表面缺陷。该文介绍了一种基于在线水果图像的表面亮度均一化校正及单阈值缺陷分割方法。首先，通过RGB颜色空间转换获取HIS空间图像的色调（H）分量，基于H分量建立掩模对RGB图像的R分量执行掩模去背景；然后，基于照度-反射模型，利用低通滤波获取R分量图像的亮度分量，利用此亮度分量对去背景后的R分量图像进行亮度校正；最后，利用一个简单的阈值对亮度校正后的图像进行缺陷分割。利用此算法，对416幅图像的检测结果表明总体检测正确率超过99%。该方法简单、有效，在在线水果缺陷检测中具有较大的应用潜力。
LI J B, RAO X Q, YING Y B . Detection of navel surface defects based on illumination-reflectance model
Transactions of the Chinese Society of Agricultural Engineering, 2011,27(7):338-342. (in Chinese)
Magsci [本文引用: 2]
水果表面缺陷是影响水果价格最主要的因素之一，目前大部分研究基于静态图像采用较复杂的算法分割水果表面缺陷。该文介绍了一种基于在线水果图像的表面亮度均一化校正及单阈值缺陷分割方法。首先，通过RGB颜色空间转换获取HIS空间图像的色调（H）分量，基于H分量建立掩模对RGB图像的R分量执行掩模去背景；然后，基于照度-反射模型，利用低通滤波获取R分量图像的亮度分量，利用此亮度分量对去背景后的R分量图像进行亮度校正；最后，利用一个简单的阈值对亮度校正后的图像进行缺陷分割。利用此算法，对416幅图像的检测结果表明总体检测正确率超过99%。该方法简单、有效，在在线水果缺陷检测中具有较大的应用潜力。

[20] LAND E H, MCCANN J J . Lightness and Retinex theory
Journal of the Optical Society of America, 1971,61(1):1-11.
DOI:10.1364/JOSA.61.000001URL [本文引用: 1]

[21] WANG S H, ZHENG J, HU H M, LI B . Naturalness preserved enhancement algorithm for non-uniform illumination images
IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2013,22(9):3538-3548.
DOI:10.1109/TIP.2013.2261309URL [本文引用: 1]

[22] 刘志成, 王殿伟, 刘颖, 刘学杰 . 基于二维伽马函数的光照不均匀图像自适应校正算法
北京理工大学学报, 2016,36(2):191-196.
[本文引用: 2]

LIU Z C, WANG D W, LIU Y, LIU X J . Adaptive adjustment algorithm for non-uniform illumination images based on 2D gamma function
Transaction of Beijing Institute of Technology, 2016,36(2):191-196. (in Chinese)
[本文引用: 2]

[23] 王殿伟, 王晶, 许志杰, 刘颖 . 一种光照不均匀图像的自适应校正算法
系统工程与电子技术, 2017,39(6):1383-1390.
[本文引用: 2]

WANG D W, WANG J, XU Z J, LIU Y . Adaptive correction algorithm for non-uniform illumination images
Journal of Systems Engineering and Electronics, 2017,39(6):1383-1390. (in Chinese)
[本文引用: 2]

[24] 饶秀勤 . 基于机器视觉的水果品质实时检测与分级生产线的关键技术研究
[D]. 杭州: 浙江大学, 2007.
[本文引用: 1]

RAO X Q . Real-time inspection technology of fruit quality using machine vision
[D]. Hangzhou: Zhejiang University, 2007. ( in Chinese)
[本文引用: 1]

[25] 白菲 . 基于机器视觉的柑橘水果外形识别方法研究
[D]. 北京: 中国农业大学, 2005.
[本文引用: 1]

BAI F . Research on the shape identification of orange based on computer vision technology
[D]. Beijing: China Agricultural University, 2005. ( in Chinese)
[本文引用: 1]

[26] 应义斌 . 水果图像的背景分割和边缘检测技术研究
浙江大学学报, 2000,26(1):35-38.
[本文引用: 2]

YING Y B . Study on background segment and edge detection of fruit image using machine vision
Journal of Zhejiang University, 2000,26(1):35-38. (in Chinese)
[本文引用: 2]

[27] XIAO J S, PENG H, ZHANG Y Q, TU C P, LI Q Q . Fast image enhancement based on color space fusion
Color Research & Application, 2016,41(1):22-31.
[本文引用: 1]

[28] 姜柏军, 钟明霞 . 改进的直方图均衡化算法在图像增强中的应用
激光与红外, 2014,44(6):702-706.
[本文引用: 1]

JIANG B J, ZHONG M X . Improved histogram equalization algorithm in the image enhancement
Laser and Infrared, 2014,44(6):702-706. (in Chinese)
[本文引用: 1]

[29] LAND E H . An alternative technique for the computation of the designator in the Retinex theory of color vision
Proceedings of the National Academy of Sciences of the United States of America, 1986,83(10):3078-3080.
DOI:10.1073/pnas.83.10.3078URL [本文引用: 1]

[30] 李福文, 金伟其, 陈伟力, 曹扬, 王霞, 王岭雪 . 基于Retinex模型的彩色图像全局增强算法
北京理工大学学报, 2010,30(8):947-951.
[本文引用: 1]

LI F W, JIN W Q, CHEN W L, CAO Y, WANG X, WANG L X . Global color image enhancement algorithm based on Retinex model
Transaction of Beijing Institute of Technology, 2010,30(8):947-951. (in Chinese)
[本文引用: 1]

[31] LI J . Application of image enhancement method for digital images based on Retinex theory
Optik-International Journal for Light and Electron Optics, 2013,124(23):5986-5988.
DOI:10.1016/j.ijleo.2013.04.115URL [本文引用: 1]

[32] 赵源萌, 王岭雪, 金伟其, 骆媛 , Saritporn Vittayapadung. 基于区域直方图统计的灰度图像色彩传递方法
北京理工大学学报, 2012,32(3):322-326.
[本文引用: 1]

ZHAO Y M, WANG L X, JIN W Q, LUO Y, SARITPORN V . A color transfer method for colorization of grayscale image based on region histogram statistics
Transaction of Beijing Institute of Technology, 2012,32(3):322-326. (in Chinese)
[本文引用: 1]

[33] 解维域, 丁辰, 宋烨 . GB/T 12947-2008, 鲜柑橘
[S]. 北京: 中华人民共和国国家标准化管理委员会, 2008.
[本文引用: 1]

XIE W Y, DING C, SONG Y . GB/T 12947-2008, Fresh citrus
[S]. Beijing: Standardization Administration of the People’s Republic of China, 2008. ( in Chinese)
[本文引用: 1]

[34] 庞江伟 . 基于计算机视觉的脐橙表面常见缺陷种类识别的研究
[D]. 浙江: 浙江大学, 2006.
[本文引用: 1]

PANG J W . Study on external defects classification of navel orange based on machine vision
[D]. Hangzhou: Zhejiang University, 2006. ( in Chinese)
[本文引用: 1]

[35] 赵杰文, 刘剑华, 陈全胜 , Saritporn Vittayapadung. 利用高光谱图像技术检测水果轻微损伤
农业机械学报, 2008,39(1):106-109.
[本文引用: 1]

ZHAO J W, LIU J H, CHEN Q S, SARITPORN V . Detecting subtle bruises on fruits with hyperspectral imaging
Transactions of the Chinese Society of Agricultural Machinery, 2008,39(1):106-109. (in Chinese)
[本文引用: 1]