删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

一种基于特征点的卷烟商标纸配准方法

本站小编 Free考研考试/2022-01-02

王凯华,1,2, 李晓辉,3, 周明珠,3, 罗泽,1, 邢军,3,*1.中国科学院计算机网络信息中心,北京 100190
2.中国科学院大学,北京 100049
3.国家烟草质量监督检验中心,河南 郑州 450001

A Method of Cigarette Wrapping Paper Image Registration Based on Feature Points

Wang Kaihua,1,2, Li Xiaohui,3, Zhou Mingzhu,3, Luo Ze,1, Xing Jun,3,*1. Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China
2. University of Chinese Academy of Sciences, Beijing 100049, China
3. China National Tobacco Quality Supervision & Test Center, Zhengzhou, Henan 450001, China;

通讯作者: * 邢军(E-mail:xingj@ztri.com.cn

收稿日期:2020-03-17网络出版日期:2020-08-20
基金资助:中国烟草总公司科技重大专项.[110201901026(SJ-05)]


Received:2020-03-17Online:2020-08-20
作者简介 About authors

王凯华,中国科学院计算机网络信息中心,中国科学院大学,硕士研究生,主要研究方向为智能图像和视频分析。
本文中负责实验设计和实现。
Wang Kaihua is a master student at Computer Network Information Center of the Chinese Academy of Sciences / University of the Chinese Academy of Sciences. The main research directions are intelligent image and video analysis.
In this paper, he is responsible for experimental design and implementation.
E-mail: wangkaihua@cnic.cn


李晓辉,国家烟草质量监督检验中心,高级工程师,主要研究方向为烟草物理性能检测技术与标准研究
本文中负责流程设计和应用分析。
Li Xiaohui is a senior engineer at China National Tobacco Quality Supervision & Test Center. Her research direction is on testing technologies and standards of tobacco physical properties.
In this paper, she is responsible for the process design and application analysis.
E-mail: lixh@ztri.com.cn


周明珠,国家烟草质量监督检验中心,高级工程师,主要研究方向为烟草物理性能检测技术与标准研究。
本文中负责方法介绍。
Zhou Mingzhu is a senior engineer at China National Tobacco Quality Supervision & Test Center. Her research direction is on testing technologies and standards of tobacco physical properties.
In this paper, she is responsible for the method introduction.
E-mail: zhoumz@ztri.com.cn


罗泽,中国科学院计算机网络信息中心,研究员,博士生导师,主要研究方向为海量数据分布处理理论和方法,数据挖掘和机器学习理论、方法和应用。
本文中负责结论展望。
Luo Ze, Ph.D. Supervisor, is a research fellow at Computer Network Information Center of the Chinese Academy of Sciences. His research directions are massive data distribution processing theory and method, data mining and machine learning theory, method and application.
In this paper, he is responsible for the conclusion outlook.
E-mail: luoze@cnic.cn


邢军,国家烟草质量监督检验中心,研究员,主要研究方向为检测技术与标准研究。
本文中负责现状分析。
Xing Jun is a research fellow at China National Tobacco Quality Supervision & Test Center. Her research direction is research on testing technologies and standards.
In this paper, she is responsible for the current studying status analysis.
E-mail: xingj@ztri.com.cn



摘要
【目的】利用改进的尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)算法提取的匹配特征对卷烟商标纸图像进行细粒度配准,达到提升配准精度和区分真伪卷烟商标纸图像的目的。【方法】通过对图像分块处理、剔除不稳健特征点、单应性矩阵粗配准后根据匹配点距离进行约束筛选匹配对,并提出根据细粒度配准后的匹配点距离均值进行评价,最终实现并改进了基于特征点的卷烟商标纸细粒度图像配准方法。【结果】基于本文改进的特征点检测方法可以提取到更均衡的特征点,提高推定匹配率,提出的配准结果评估标准能有效评估配准质量,粗配准筛选匹配点可以提高图像细粒度配准的精度,并可以对卷烟商标纸图像进行区分。【局限】目前的改进集中在匹配对的筛选,在细粒度配准方法研究上仍有改进的空间。【结论】基于改进的SIFT算法提取的特征点,提出了先粗配准后细配准的图像细粒度配准策略,经实验证明此策略可以提升图像配准精度,并可以达到区分卷烟商标纸图像的目的。
关键词: SIFT;特征检测;特征点匹配;单应性变换;图像配准

Abstract
[Objective] In order to improve the registration accuracy and authenticate the wrapping paper images, fine-grained registration is performed on the cigarette packaging images by using the matching feature points extracted from the optimized SIFT (Scale-invariant feature transform) algorithm. [Methods] After performing block processing on the images, removing unstable feature points, and using coarse registration of the homography matrix to filtrate paired points by distance constraint, an evaluation approach is proposed based on average distance betwteen fine-grained matching pairs to improve the registration performance based on SIFT features. [Results] The experimental results show that the improved feature point extraction method in this paper can extract more balanced feature points and improve the estimated matching rate. The proposed registration evaluation standard can effectively evaluate the registration quality, and the coarse registered matching points can improve the accuracy of fine-grained registration of the image and authenticate the wrapping paper images. [Limitations] The current improvement is focused on the selection of matching pairs and there is still room for improvement in the research of fine-grained registration methods. [Conclusions] Experiments prove that this strategy can improve registration accuracy and achieve the purpose of authenticating cigarette wrapping paper images.
Keywords:SIFT;feature detection;feature matching;homography transformation;image registration


PDF (7907KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
王凯华, 李晓辉, 周明珠, 罗泽, 邢军. 一种基于特征点的卷烟商标纸配准方法. 数据与计算发展前沿[J], 2020, 2(4): 132-141 doi:10.11871/jfdc.issn.2096-742X.2020.04.011
Wang Kaihua, Li Xiaohui, Zhou Mingzhu, Luo Ze, Xing Jun. A Method of Cigarette Wrapping Paper Image Registration Based on Feature Points. Frontiers of Data and Computing[J], 2020, 2(4): 132-141 doi:10.11871/jfdc.issn.2096-742X.2020.04.011


开放科学标识码(OSID)

引言

近年来,卷烟行业中的假冒伪劣现象比较普遍,大量假冒伪劣卷烟在市场流通,对市场秩序造成了严重影响,也对国家与消费者的合法权益产生了侵害。卷烟真伪鉴别问题受到了我国相关管理部门的高度重视,也是社会大众普遍比较关注的问题。一般对卷烟的真伪鉴别工作是基于卷烟的物化检测,但考虑到真伪卷烟在外包装商标纸上有一定区分,可以利用计算机视觉技术对其进行处理,实现现场检测,对打击假冒伪劣烟草,提高检测效率有重要意义。

当前计算机视觉在卷烟生产中的应用有识别和剔除烟叶中的异物[1]以及自动检测烟标的漏贴情况[2]。但基于外包装商标纸对于真伪卷烟的区分,依靠的还是人的感官鉴别,相关工作还在探索,主要难点在于真伪卷烟商标纸相似度高,不易区分,本文将图像配准的方法应用到真伪卷烟的鉴别工作中,对后续研究有参考意义。

图像配准是对不同传感器、不同角度或不同时间获取的同一场景的两幅或多幅图像进行空间对准的过程[3]。图像配准在多个领域应用广泛,比如遥感、医学图像分析、机器视觉、场景分类等[4]

图像配准技术根据在配准过程中使用的图像信息差异分为3类:基于变换域的图像配准、基于特征的图像配准和基于灰度信息的图像配准[5]。其中,基于特征的图像配准方法因其计算量较低,对位置变化较敏感,同时降低了噪声、遮挡、光照和图像变形的影响,成为当前主流的配准方法[6]。 在基于特征的图像配准中,基于点特征的图像配准技术成为该研究领域的热点,所以本文主要研究的是点特征。在基于点特征的研究方法中,SIFT算法与其他匹配方法相比,提取的点特征由于在图像平移、旋转、缩放、视角变换和光照变化等因素下具有很好的效果[7],因而广泛受到关注。而基于深度神经网络学习得到的点特征目前在匹配问题上并没有取得突破性进展[8]

基于此,本文将基于改进的SIFT算法提取的匹配特征点进行卷烟商标纸图像细粒度配准,细粒度配准的含义是基于开源的图像配准框架BIRL(Benchmark on Image Registration methods with Landmark validations)提供的弹性配准方法实现图像的精细配准。本文的目的是提升卷烟商标纸配准的精度,并能够对真伪卷烟实现有效区分。

1 相关技术

1.1 SIFT算法

SIFT算法主要分为四步[9]

(1)尺度空间的建立

待提取特征的图像用函数 I(x,y)表示,图像的尺度空间用函数 L(x,y,σ)表示,那么尺度空间就是由高斯函数 G(x,y,σ)和图像 I(x,y)卷积操作生成的,计算方法如式(1)、式(2)。

Lx,y,σ=Ix,y*G(x,y,σ)
Gx,y,σ=12πσ2e-(x2+y2)/(2σ2)
其中, σ表示尺度空间坐标,*表示在 xy方向上进行卷积操作。

SIFT算法用DOG尺度空间代替LOG尺度函数,是为了获得稳定特征点的位置,将两幅相邻高斯尺度空间图像相减,得到DOG尺度空间,该尺度空间的计算方法如式(3)。

Dx,y,σ=Gx,y,-Gx,y,σ*Ix,y,σ=Lx,y,-L(x,y,σ)
(2)尺度空间中提取特征点

尺度空间中的关键点和它所在尺度以及上下尺度27个点进行比较,最终保留局部极值点。然后通过剔除不稳定的边缘响应点、对比度低的点以及用子像元插值方法优化检测的关键点。

(3)生成特征点描述子

在关键点邻域窗口中采样,计算邻域中各个像元的梯度幅值和方向,统计邻域中像元梯度方向直方图,则直方图峰值就是关键点的主方向。为了保证旋转不变性,把特征点的方向作为坐标轴旋转方向,把特征点周围区域分成4×4个子区域,统计每个子区域块内的梯度方向,获得8个方向的梯度方向直方图,最终产生维度为128的SIFT特征向量。

(4)特征点匹配

在匹配的时候,SIFT算法计算出待匹配图像上距离基准图像上某一个特征点最近和次近的特征点,距离计算基于欧氏距离,然后给最近和次近的比值设置一个阈值,把小于这个阈值的最近点视作匹配点,经过比值提纯后,一般还会使用随机抽样一致性算法(Random Sample Consensus, RANSAC)剔除离群匹配对。

1.2 图像细粒度配准

本文基于BIRL图像配准框架实现卷烟商标纸图像细粒度配准过程,该框架是2019ISBI(International Symposium on Biomedical Imaging)大会举办的非刚性几何图像自动配准项目的关键组成部分。

使用的细粒度配准方法是该框架集成的bUnwarpJ弹性配准方法,该方法基于能量函数最小化求解变形过程,不仅能够对刚性变换的图像进行配准,对弹性变换的图像也有好的配准效果,且该方法适合2D图像配准。

该细粒度配准方法输入数据包括源图像和目标图像,以及源图像和目标图像上标定的匹配点的坐标。该框架使用的数据是人工标注的匹配点,为了在工程上达到特征点自动化匹配和图像配准,本文重点研究了如何提取两幅图像上相应的精确匹配点,在工程上完成图像配准的自动化并达到好的配准效果。

2 卷烟商标纸细粒度配准算法

2.1 细粒度配准流程设计

对SIFT算法改进,包括分块提取卷烟商标纸SIFT特征点,进行稳健度筛选、单应性粗配准,基于距离约束筛选匹配对。针对细粒度图像配准的结果,基于输入的匹配特征点经细粒度配准后的距离对整体效果进行评估。整体配准流程如图1所示。

图1

新窗口打开|下载原图ZIP|生成PPT
图1卷烟商标纸图像细粒度配准流程图

Fig.1Image of cigarette wrapping paper fine-grained registration flow chart



2.2 图像匹配策略的改进

(1)图像分块提取特征策略

由于SIFT算法提取的卷烟商标纸图像特征点,存在不够均匀、有些位置特征点检测较少的问题,本文采取图像分块的方法加以解决。主要方法为:首先利用预先设置的块数对整幅图像进行均匀切割分块,为了避免分块图像边缘的特征点被遗漏,对分块边缘区域进行重叠采样处理,保障SIFT算法对原始图像的每个区域进行检测。块数的选择设定为2*1,2*2,3*2,3*3,2*5,4*3。

分块后,根据检测特征点所需时间和检测特征点的总个数,确定分块方式。最后比较分块前后每一个图像块检测到的特征点个数,验证分块处理的实验效果,并分析特征点的均衡性。

(2)不稳健特征点的剔除

特征点提取阶段,由于卷烟商标纸图像是由扫描方式采集的,单幅图像分辨率高,检测的特征点数目很多,直接利用这些特征点,会增加计算量,影响匹配速度,还容易产生误匹配。提出了先粗配准后细粒度配准的图像配准策略,在细粒度配准的时候,需要足够精确的匹配对作为输入,但对匹配对的数量并没有做过多要求,因此上述策略的基础上,根据特征点的响应强度进行排序特征点的稳健度,剔除一部分稳健度低的特征点,减少计算量,提高匹配精度。

(3)单应性粗配准过滤匹配对

SIFT算法对最近邻和次近邻匹配的距离比设定阈值进行匹配对筛选,该阈值被称为ratio,ratio=0.4适用于准确度要求高的匹配;ratio=0.6适用于匹配点数目要求比较多的匹配;ratio=0.5适用于一般情况[10]。本文需要找到最精确的匹配对,所以阈值为0.4,后序的剔除伪匹配需要使用随机一致性方法RANSAC。

在上述基础上,通过单应性矩阵将基准图像和待配准图像进行粗配准,根据粗配准后匹配对的距离约束,筛选出更精确的匹配对。

单应性矩阵能将源图像转换到目标图像上,如图2所示, a0, b0分别表示图2中两个平面任意两点, a?1a?2b?1b?2是这两个点的两个方向上的线性向量。对于这两个平面,可以通过这些点进一步确立两个平面的关系,用单应性矩阵描述为式(4)。

ph?=Hqh?
其中, H表示单应性矩阵, ph?,qh?表示三维齐次坐标向量。

图2

新窗口打开|下载原图ZIP|生成PPT
图2三维空间中两个平面

Fig.2Two planes in three-dimensional space



根据RANSAC筛选的匹配对计算单应性矩阵,并通过该矩阵将待配准图像的匹配点映射到基准图像上,就可以计算匹配对经过单应性粗配准后的距离。

计算出匹配对的距离后,根据如下方法设置阈值,对匹配对进行精确筛选。

①匹配数小于等于100,不对粗配准后的匹配对进行筛选,因为要保证有足够的匹配对作为细粒度配准的输入;

②匹配数大于100,计算出这些匹配对的距离均值;

③将②计算的距离均值作为阈值,保留距离小于阈值的匹配对。

将距离均值作为筛选阈值的方法,既可以把距离过大的匹配过滤掉,也可以保留一定数量的匹配对。之后根据细粒度配准后的匹配对距离均值衡量本文改进SIFT工作前后的卷烟商标纸配准效果。

2.3 图像细粒度配准评价标准

由于图像配准的研究领域不同、目的不同、侧重点不同,很难用一个统一的标准界定图像配准结果的好坏[11]。实践中,会结合图像所属领域、配准方法等多个方面进行综合评估[12]。对图像配准结果的评估研究也是图像配准领域的一个研究热点。

在细粒度配准阶段,要输入基准图像和待配准图像的匹配对,BIRL会基于这些匹配对进行图像细粒度配准。本文提出细粒度配准后根据这些匹配对的距离均值对配准结果进行评估。

基于细粒度配准后匹配对距离均值进行配准评估的依据是一张图像变换到另一张图像上,匹配点在配准后位置会接近或者重合。好的配准效果,两张图像基本完全重合,匹配点的距离会很小,差的配准效果,匹配点的距离会较大。传统的人工图像配准是人工标定匹配对,称之为“控制点”,在图像配准后会通过观察控制点的对准效果,来判断配准的好坏[13]。本文基于此,自动提取图像的匹配对,定量进行距离计算,对配准效果进行定量分析。

具体方法如图3所示,实线三角形和虚线三角形表示待配准图像和基准图像在配准后图像上的位置,AA'BB'CC'表示输入的卷烟商标纸特征点,也是本文用改进的SIFT算法提取的精确匹配点,线段AA',BB',CC'表示细粒度配准后匹配对的距离,本文基于这些距离均值评价图像配准效果,称为图像配准错误偏移(Image Registration Error Offset, IREO)计算方法如式(5)。

IREO=k=1n|ps-p(t)|n
n表示匹配对数目, p(s)表示待配准图像(源图像)匹配特征点, p(t)表示基准图像(目标图像)匹配特征点。

图3

新窗口打开|下载原图ZIP|生成PPT
图3IREO计算示意图

Fig.3IREO calculation diagram



IREO评估商标纸配准精度,IREO值越小,说明配准的精度越高。

3 实验和参数校准

3.1 实验数据和环境

实验数据是项目采集的卷烟商标纸图像数据,为了保留原始图像的更多细节,用扫描方法进行数据采集。实验采用四组商标纸图像数据,图4-图7,其中每组的(a)表示真烟盒商标纸基准图像,(b)表示真烟盒商标纸待配准图像,(c)表示假烟盒商标纸待配准图像。

图4

新窗口打开|下载原图ZIP|生成PPT
图4卷烟商标纸图像1

Fig.4Image 1 of cigarette wrapping paper



图5

新窗口打开|下载原图ZIP|生成PPT
图5卷烟商标纸图像2

Fig.5Image 2 of cigarette wrapping paper



图6

新窗口打开|下载原图ZIP|生成PPT
图6卷烟商标纸图像3

Fig.6Image 3 of cigarette wrapping paper



图7

新窗口打开|下载原图ZIP|生成PPT
图7卷烟商标纸图像4

Fig.7Image 4 of cigarette wrapping paper



实验的硬件配置是Intel(R)Core(TM)i5-7200U 2.50GHzCPU,内存8GB,操作系统为windows10。

3.2 图像分块提取特征策略

按照2.2(1)图像分块策略,对图4(a),图5(a),图6(a),图7(a)进行分块处理,得到图8-图11的图像分块特征检测折线图,蓝色折线表示检测的特征点个数,黄色折线表示该图像进行特征检测所耗时间。通过对图8-图11分析得出,随着分块数的增多,检测特征点数目越多,但检测时间也越多。根据图中特征点个数和时间的变化趋势发现,当分块为3*2时,提取的特征点数目趋于稳定,并且检测特征点所需时间没有大幅提升,所以本文针对卷烟商标纸图像数据的默认分块方式为3*2。

图8

新窗口打开|下载原图ZIP|生成PPT
图8图4(a)分块特征检测折线图

Fig.8Fig4(a) feature detection based on segmentation



图9

新窗口打开|下载原图ZIP|生成PPT
图9图5(a)分块特征检测折线图

Fig.9Fig5(a) feature detection based on segmentation



图10

新窗口打开|下载原图ZIP|生成PPT
图10图6(a)分块特征检测折线图

Fig.10Fig6(a) feature detection based on segmentation



图11

新窗口打开|下载原图ZIP|生成PPT
图11图7(a)分块特征检测折线图

Fig.11Figure7(a) feature detection based on segmentation



基于3*2的分块方式对图4(a),图5(a),图6(a),图7(a)进行特征点检测,3*2 表示三行两列,从上到下,从左到右对每个图像块编号①②③④⑤⑥,统计分块前后每一块上检测到的特征点个数,统计结果如表1所示,每行上面的数字表示图像块原来检测的特征点个数,下面的数字表示分块后检测特征点的个数。分析可知,分块后每个图像块都可以提取到更多的特征点,并且原来特征点提取较少的区域,分块后能提取到与其他块数目相近的特征点,表示该方法可以提取到更均匀的特征点,能提取更能描述图像全局特征的特征点,便于后续匹配。

Table 1
表1
表1每块图像上特征点数目比较
Table 1Comparison of the number of feature points on each segment image
Fig4(a)23021297121143157
327359241263157183
Fig5(a)8767167117127147
169200181168226259
Fig6(a)8763260234116102
157149378411195249
Fig7(a)17918916218588104
301268252255213241

新窗口打开|下载CSV

3.3 不稳健特征点的剔除

图4(a)(b),图5(a)(b),图6(a)(b),图7(a)(b),以10%作为间隔,剔除稳健度排序靠后的10%,20%,30%,40%,50%的特征点。然后基于保留的特征点进行匹配,得到推定匹配率(Putative Match Ratio),即匹配的特征点数占特征点总数的比值,来衡量剔除部分不稳健特征点的匹配效果,如图12所示。

图12

新窗口打开|下载原图ZIP|生成PPT
图12推定匹配率折线图

Fig.12Putative match ratio line chatr



图12可知,当剔除30%不稳健匹配特征点时,推定匹配率有较大提高,高的原因是因为剔除的不稳健特征点没有参与图像匹配,所以采用剔除后30%不稳健的特征点作为剔除标准。

3.4 单应性粗配准过滤匹配对

基于2.2(3),对图4(a)-图4(b)(A1组),图4(a)-图4(c))(A2组),图5(a)-图5(b)(B1组),图5(a)-图5(c))(B2组),图6(a)-图6(b)(C1组),图6(a)-图6(c))(C2组),图7(a)-图7(b)(D1组),图7(a)-图7(c))(D2组),进行粗配准实验,得到表2

Table 2
表2
表2粗配准前后的匹配点距离均值
Table 2Mean distance of matching points before and after coarse registration
实验组粗配准前距离均值粗配准后距离均值
A116.439.24
A222.7814.76
B121.8013.34
B232.4422.65
C119.411.01
C225.0619.04
D122.4712.50
D223.5618.51

新窗口打开|下载CSV

对粗配准距离约束筛选前后的匹配对进行可视化,得图13(A1组实验)和图14(B1组实验)。

图13

新窗口打开|下载原图ZIP|生成PPT
图13商标纸图像1(a)(b)粗配准前后特征点匹配图

Fig.13Image1(a)(b) feature points matching



图14

新窗口打开|下载原图ZIP|生成PPT
图14商标纸图像2(a)(b)粗配准前后特征点匹配图

Fig.14Image2(a)(b) feature points matching



表2图13图14可知,经过粗配准距离约束筛选后,匹配对的距离会大大缩小,说明本文提出的匹配对过滤策略能有效剔除误匹配,提高匹配精度,有利于下一步进行的BIRL细粒度图像配准。

3.5 图像细粒度配准

图像细粒度配准是基于BIRL的bUnwarpJ方法进行的,在1.2中有介绍。将要配准的图像和3.4中提取的匹配特征点坐标作为BIRL的输入。

以A1组配准过程为例,配准的可视化过程如图15所示。

图15

新窗口打开|下载原图ZIP|生成PPT
图15细粒度配准过程可视化

Fig.15Visualization of fine-grained registration process



基于该细粒度配准方法和提出的IREO配准评估方法,对A1-D2八组图像进行配准实验。

实验步骤为:对每组配准图像,首先用SIFT算法提取的特征匹配点进行细粒度图像配准,然后使用本文改进的SIFT算法,即经过分块提取特征点、剔除不稳健的特征点、单应性粗配准距离约束的SIFT算法提取的匹配点去进行细粒度图像配准,计算SIFT提取匹配对的IREO配准结果如表3所示。

Table 3
表3
表3算法改进前后IREO对比
Table 3IREO before and after algorithm improvement
实验组改进前IREO改进后IREO
A110.674.65
A217.6510.54
B112.564.12
B222.4411.34
C110.603.20
C221.319.48
D113.675.56
D220.5413.41

新窗口打开|下载CSV

4 结果分析

卷烟商标纸细粒度配准是基于BIRL集成的bUnwarpJ细粒度配准方法进行的,在细粒度配准阶段,本文提出了用图像配准错误偏移(IREO)去衡量配准效果。

在细粒度配准之前的步骤,对SIFT算法的改进主要在特征点检测和匹配对过滤两个阶段。

4.1 特征点检测分析

对SIFT提取特征点的改进包括分块处理和剔除不稳健特征点。

图像分块处理,当分块方式为3*2时,特征点检测花费时间较少,且能够提取到数量更多的特征点。由表1可知商标纸图像分块提取的特征点比原来提取的特征点更加均匀,数量也更多,改进后提取的特征点分布均匀,更能表示图像本身蕴含的特征信息。

基于2.2(1)分块采集的特征点虽然更均匀,但分布均匀的同时,也使得图像特征的数量增加,本文基于特征点的响应强度,即稳健度,剔除一部分不稳健的特征点。由图12可知,根据特征点稳健度排序,剔除后30%的稳健度低的特征点时,可以最大程度提高图像匹配的推定匹配率。剔除后,可以提升商标纸图像匹配的计算速度,保留更稳健的特征点。

4.2 细粒度配准结果分析

表3表示八组细粒度图像配准结果,可视化为图16所示。IREO为本文2.3提出的图像配准评估指标,即细粒度配准后匹配对的距离均值。蓝色表示基于原来SIFT算法的IREO值,黄色表示改进后IREO值,可以发现,对SIFT算法改进后的IREO值比原来小,说明改进的卷烟商标纸配准算法有效果,能够提升配准精度。

图16

新窗口打开|下载原图ZIP|生成PPT
图16算法改进前后IREO柱状图

Fig.16IREO histogram before and after algorithm improvement



进行分组比较,A1A2组,B1B2组,C1C2组,D1D2组,1表示真烟和真烟的商标纸配准结果,2表示真烟和假烟商标纸配准结果,对比发现,真烟和假烟配准的IREO值要大于真烟和真烟配准的IREO值,说明假烟盒的配准距离比真烟盒的配准距离大,在对比情况下,能够对真烟盒和假烟盒商标纸图像数据进行区分。可以进一步根据这个差值,来研究如何最大差异化真伪卷烟商标纸图像数据,进而对真假卷烟进行区分。

5 总结与展望

本文研究了基于特征点的细粒度图像配准框架BIRL,针对细粒度配准结果,提出使用图像配准错误偏移(IREO)衡量配准结果,使用该标准可以对细粒度配准结果进行定量分析。结合细粒度配准方法对输入匹配点的要求,改进了SIFT算法对特征匹配对的提取。

对SIFT算法的改进在特征点提取和匹配点过滤两个方面。特征提取阶段,通过分块方式,检测到图像上更均匀的特征点;根据特征点稳健度排序剔除后30%的特征点,提高了推定匹配率。在匹配阶段,提出了单应性矩阵粗配准后经距离约束筛选匹配点,实验表明,经粗配准距离约束后提取的匹配点可以提高细粒度图像配准的精度。

此外,对比不同组的实验结果,可以对卷烟商标纸图像进行区分。根据对比实验,真烟和真烟的精配准效果要优于真烟和假烟的精配准效果,根据两组之间的差值,能够区分真伪卷烟商标纸图像数据,对以后根据真伪卷烟商标纸图像区分真伪卷烟的研究有参考意义,有利于卷烟质检工作自动化的推进,对打击假冒伪劣卷烟,维护市场秩序有重要意义。

本文对图像细粒度配准的改进主要体现在前期匹配对的精确提取,下一步可以对细粒度配准的具体方法进行研究,拉大真伪卷烟配准的差异,从而实现更有效的区分。

利益冲突声明

所有作者声明不存在利益冲突关系。

参考文献 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子

何浩, 张乐年 . 烟叶异物剔除系统中图像处理的研究
[J]. 电气技术与自动化, 2010,39(6):156-158.

[本文引用: 1]

赵阳, 杨永跃 , . 彩色图像处理在香烟包装检测上的应用
[J]. 合肥工业大学报, 2006,29(8):1032-1034.

[本文引用: 1]

ZITOVA B, FLUSSER J . Image registration methods: a survey
[J]. Image and Vision Computing, 2003,21(11):977-1000.

DOI:10.1016/S0262-8856(03)00137-9URL [本文引用: 1]

刘成林 . 文档图像识别技术回顾与展望
[J]. 数据与计算发展前沿, 2019,1(2):17-25.

[本文引用: 1]

陈雷, 袁媛 . 基于深度迁移学习的农业病害图像识别
[J]. 数据与计算发展前沿, 2020,2(2):111-119.

[本文引用: 1]

苏培峰, 黄世奇, 王艺婷 .具有 SIFT 描述的多尺度角点图像配准
[J]. 计算机工程与科学, 2017,39(9):1700-1705.

[本文引用: 1]

CHEN C C, HSIEH S L . Using binarization and hashing for efficient SIFT matching
[J]. Journal of Visual Communication and Image Representation, 2015,30(C):86-93.

DOI:10.1016/j.jvcir.2015.02.014URL [本文引用: 1]

俞益洲, 马杰超, 石德君, 周振 . 深度学习在医学影像分析中的应用综述
[J]. 数据与计算发展前沿, 2019,1(2):37-52.

[本文引用: 1]

Lowe DG . Distinctive mage features from scale-invariant keypoints
[J]. International Journal of Computer Vision, 2004,60(2):91-110.

DOI:10.1023/B:VISI.0000029664.99615.94URL [本文引用: 1]
This paper presents a method for extracting distinctive invariant features from images that can be used to perform reliable matching between different views of an object or scene. The features are invariant to image scale and rotation, and are shown to provide robust matching across a substantial range of affine distortion, change in 3D viewpoint, addition of noise, and change in illumination. The features are highly distinctive, in the sense that a single feature can be correctly matched with high probability against a large database of features from many images. This paper also describes an approach to using these features for object recognition. The recognition proceeds by matching individual features to a database of features from known objects using a fast nearest-neighbor algorithm, followed by a Hough transform to identify clusters belonging to a single object, and finally performing verification through least-squares solution for consistent pose parameters. This approach to recognition can robustly identify objects among clutter and occlusion while achieving near real-time performance.

苏燕飞 . 基于卷积神经网络和SIFT的多源遥感图像配准研究
[D]. 江西省:南昌大学, 2018.

[本文引用: 1]

冯晓伟 . 基于特征点的图像配准技术及应用
[D]. 南京:南京航空航天大学, 2008.

[本文引用: 1]

祁曦, 陈志云 .结合 SIFT 和 Delaunay 三角网的遥感图像配准算法
[J]. 计算机系统应用, 2018,27(10):161-169.

[本文引用: 1]

李孚煜, 叶发茂 . 基于SIFT的遥感图像配准技术综述
[J]. 国土资源遥感, 2016,28(2):14-20.

DOI:10.6046/gtzyyg.2016.02.03URL [本文引用: 1]
遥感图像配准是图像融合、变化检测、图像镶嵌等应用中不可缺少的步骤。近年来,出现了大量基于尺度不变特征变换(scale invariant feature transform,SIFT)的遥感图像配准方法。在对已有基于SIFT的遥感图像配准文献的调研分析基础上,对各种SIFT遥感图像配准技术进行了系统性评述,将各种改进方法分为SIFT提升算法、针对遥感图像性质的改进、混合方法以及针对算法流程的改进等4类; 分析了不同类型改进方法的适用范围和优缺点; 指出了SIFT遥感图像配准技术存在的主要问题和难点,对其未来的发展方向进行了展望,为后续研究提供参考。
相关话题/图像 计算 数据 实验 空间