, 郭吉昌, 张天一 清华大学 机械工程系, 先进成形制造教育部重点实验室, 北京 100084
收稿日期：2018-10-31
基金项目：国家自然科学基金面上项目（51775301）
作者简介：孙博文(1993-), 男, 硕士研究生
通信作者：朱志明, 教授, E-mail:zzmdme@tsinghua.edu.cn
摘要：基于激光结构光的视觉传感器广泛应用于焊接领域的坡口检测和焊缝跟踪。该文提出了一种基于组合激光结构光的新型视觉传感器，独特的光路结构设计避免了传感器应用于不同焊接位姿时繁琐的外参数标定，仅依靠传感器内部固有参数（应用前需校准）和焊接坡口图像的特征点坐标值，即可实现焊接坡口参数的在线检测，有效增强了传感器的适应性。通过对不同图像处理算法的改进和合理组合，对图像处理流程进行了优化。动态感兴趣区（region of interest，ROI）区域提取算法可快速寻获有价值的激光线和特征点所在区域，有效提升了后续图像处理速度；顶帽变换与自适应二值化组合，在将激光线灰度值均匀化的同时，实现了激光线与背景图像的有效区分。运用基于LOG（Laplacian of Gaussian）算子的边缘识别算法，可提取出激光线的单像素边缘；采用最小二乘法对所求得的激光中心线离散点进行直线拟合，通过联立直线方程求交点的方式，实现了对焊接坡口特征点图像坐标值的准确识别。借助Visual Studio平台，运用改进的图像处理算法、优化的图像处理流程和检测算法，对特征参数不同的V形焊接坡口进行检测试验，检测误差均在±4%以内，验证了所提出视觉传感器及其检测算法和图像处理流程的合理性和适用性。
关键词：视觉传感器图像处理动态感兴趣区提取顶帽变换自适应二值化边缘识别
Detection algorithms and optimization of image processing for visual sensors using combined laser structured light
SUN Bowen, ZHU Zhiming
, GUO Jichang, ZHANG TianyiKey Laboratory for Advanced Materials Processing Technology of Ministry of Education, Department of Mechanical Engineering, Tsinghua University, Beijing 100084, China
Abstract: Visual sensors based on laser structured light are widely used in the welding field for detection of welding grooves and tracking of weld seams. This paper describes a visual sensor based on combined laser structured light where the light paths within the visual sensor are designed to eliminate the need to calibrate the external sensor parameters for different positions and postures to provide on-line detection of welding groove parameters using only the internal sensor parameters (which require calibration) and the feature point coordinates of the welding groove image. Thus, this method is much more adaptable than previous methods. The image processing is optimized by improving and combining various image processing algorithms. A dynamic region of interest region extraction algorithm is used to quickly find the region that includes the laser lines and feature points to significantly improve the subsequent image processing speed. Then, a top hat transformation and self-adaptive binarization are used to homogenize the gray values of the laser lines that differentiates the laser lines from the background. After that, an edge recognition algorithm based on the Laplacian of Gaussian (LOG) operator is used to extract the single pixel edges of the laser lines which are used to then identify the discrete points of the laser center lines that are fit to linear equations by the least squares method. Finally, these linear equations are used to accurately calculate the image coordinates of the feature points of the welding groove. All these image processing algorithms were implemented in Visual Studio for tests to detect V-shaped welding grooves with various characteristic parameters. The detection errors are all within ±4%, which shows that the detection algorithms are reasonable and applicable for image processing of welding processes with visual sensors.
Key words: visual sensorimage processingdynamic region of interest extractiontop hat transformationadaptive binarizationedge recognition
基于激光结构光的视觉传感器广泛应用于焊接领域, 尤其在焊接坡口检测、焊缝跟踪等方面[1-2]。目前, 基于单线激光结构光的视觉传感器应用最为广泛, 其优势在于结构简单、图像处理难度较低、实时性较好, 但从所拍摄图像中可获取的特征点个数较少, 因此存在检测信息不全面等问题[3-4]。基于多线激光结构光的视觉传感器, 虽然可以从所拍摄图像中获取更多检测信息, 但也增加了传感器标定和图像处理的难度, 目前应用并不广泛, 多应用于需要提取信息较多且对实时性要求不高的场合[5-6]。
采用图像处理方法, 从所拍摄图像中高效、准确地提取出焊接坡口(焊缝)的中心位置及特征点坐标值, 是基于激光结构光的视觉传感器的核心环节[7], 是实现焊接坡口检测和焊缝跟踪的前提和基础。图像处理过程主要包含3个阶段：图像预处理、激光中心线提取和焊接坡口(焊缝)特征点识别[8]。其中, 图像预处理是整个图像处理过程的关键步骤, 预处理的效果直接影响激光中心线和焊接坡口(焊缝)特征点的识别和提取精度。多年的相关研究工作已经发展有多种较为成熟的图像处理算法。然而, 如何将这些算法进行改进、合理组合和应用, 形成一套完备的图像处理流程, 并成功应用于不同领域和场合的图像处理, 值得重点关注。
本文在简要介绍所提出的基于组合激光结构光的新型视觉传感器的光路结构设计、检测原理和算法的基础上, 针对所拍摄的焊接坡口(焊缝)图像的特殊性, 通过对不同图像处理算法的改进和合理组合, 对图像处理流程进行了优化。采用所提出的新型视觉传感器、推导出的检测算法、改进的图像处理算法和优化的图像处理流程, 进行了多种V形焊接坡口的图像拍摄和特征参数检测试验, 结果表明：检测值与坡口实际值相比, 误差不超过±4%, 检测算法、图像处理算法和流程有较强的适应性。
1 视觉传感器原理及检测算法本文所提出的新型视觉传感器主要由电荷耦合器件(charge coupled device, CCD)相机、十字线和一字线激光发射器构成(见图 1)。CCD相机的光学中轴线与两激光器的中轴线共平面(简称A平面), 两激光器平行放置且轴线间距固定(图中的D2), 并与CCD相机的轴线呈一定夹角(图中的α)。一字线激光器发射的激光平面与A平面垂直, 十字线激光器发射出十字交叉且垂直的双激光平面, 其中一个激光平面与A平面垂直且与一字线激光器发射的激光平面平行、间距为固定值D2, 另一个激光平面位于A平面之内, 且与一字线激光器发射的激光平面垂直。在传感器装配时, 需要对激光平面的平行度、垂直度、间距及其与相机轴线的夹角进行校准或标定, 以保证检测精度。
 |
| 图 1 基于组合激光结构光的视觉传感器检测原理 |
| 图选项 |
试验选用的CCD相机为200万像素且具有可编程控制功能的大恒MER-200-GM数字摄像机, 镜头为VST的VS-0620VM广角镜头, 焦距为6 mm。CCD相机的最大分辨率为1 628×1 236像素, 像素尺寸为4.4 μm×4.4 μm, 最大分辨率下的拍摄帧频为20 fps。一字线激光发射器为Powell棱镜结构的200 mW高强度激光器, 十字线激光发射器的功率为100 mW, 两激光器的波长均为650 nm。
视觉传感器与焊枪装配时, CCD相机的光学中轴线与焊枪的中轴线平行(需要校准和保证)。图 1为焊枪垂直于工件表面, 焊枪、CCD相机和两激光器轴线所在A平面在工件上的投影线与焊接坡口中心线重合时, 进行坡口特征参数检测的原理示意图。两激光器发射出的激光平面照射到工件表面(包括焊接坡口内), CCD相机可以拍摄到组合激光在工件上投射线的图像。由于激光投射线从工件表面向V形坡口内延伸时, 在坡口的边缘和底部会发生弯折, 形成图中的6个特征点。对拍摄的图像进行处理, 就是为了识别这6个特征点在图像中的坐标值, 进而求得焊接坡口的特征参数。
根据成像原理和光学三角测量法, 可以推导出焊接坡口的特征参数(坡口深度h, 坡口宽度b1和b2, 坡口角度ω1和ω2)与传感器固有参数及图像中的特征点坐标值的关系式, 也就是检测算法[9-11]。
| $\begin{array}{*{20}{c}}{h = \frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_2} - {{x'}_1}}}} \right) = }\\{\frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_4} - {{x'}_3}}}} \right),}\end{array}$ | (1) |
| ${b_1} = - \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_3}}}{{{{x'}_4} - {{x'}_3}}} = - \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_4}}}{{{{x'}_4} - {{x'}_3}}},$ | (2) |
| ${b_2} = \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_1}}}{{{{x'}_2} - {{x'}_1}}} = \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_2}}}{{{{x'}_2} - {{x'}_1}}}.$ | (3) |
| $\begin{array}{*{20}{c}}{{\omega _1} = {{\tan }^{ - 1}}\left( {\frac{{{b_1}}}{h}} \right) = }\\{{{\tan }^{ - 1}}\left[ {\frac{{ - \frac{{{{y'}_3}}}{f}}}{{\frac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right] = {{\tan }^{ - 1}}\left[ {\frac{{ - \frac{{{{y'}_4}}}{f}}}{{\frac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right],}\end{array}$ | (4) |
| $\begin{array}{*{20}{c}}{{\omega _2} = {{\tan }^{ - 1}}\left( {\frac{{{b_2}}}{h}} \right) = }\\{{{\tan }^{ - 1}}\left[ {\frac{{\frac{{{{y'}_1}}}{f}}}{{\frac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right] = {{\tan }^{ - 1}}\left[ {\frac{{\frac{{{{y'}_2}}}{f}}}{{\frac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right].}\end{array}$ | (5) |
由式(1)—(5)可以看出, 焊接坡口特征参数的检测只与所设计的视觉传感器的固有参数D2、f和α有关(f为CCD相机的固有参数, D2和α由视觉传感器的结构设计、加工和装配保证)。可见, 所提出的视觉传感器的光路结构设计使传感器仅依靠自身内部的固有或确定参数即可实现对焊接坡口特征参数的检测。
空间对象的三维参数视觉检测和传感, 一般采用双目视觉。采用单目视觉时, 则需要从不同角度拍摄空间对象的图像, 然后通过坐标变换计算传感器的外参数, 对传感器进行标定, 进而实现对空间对象的三维参数检测和传感。本文所提出的基于组合激光结构光的视觉传感器, 除了一字线激光发射器外, 增加了一个十字线激光发射器, 独特的双激光器光路结构设计, 使得CCD相机的1次图像拍摄相当于以∞的速度(时间间隔为0)在不同的固定位置对空间对象(如焊接坡口)进行了2次拍摄, 从而巧妙地避开了传统单目视觉传感器应用前所必须进行的外参数标定工作, 形成了自标定。由于不需要进行传感器外参数的标定, 从而也就不需要在传感器(焊枪)的空间位置和姿态发生变化时对传感器进行反复标定；进而, 在使用过程中遇到焊枪高度或位姿发生变化时, 传感器也能继续进行有效检测。与传统的基于单线激光结构光的单目视觉传感器相比, 本文所提出的视觉传感器显著提升了传感系统的自适应性, 同时也有效地解决了单目视觉传感器在进行空间信息检测时的深度方向信息丢失问题[9]。
2 图像处理流程与特征点识别对于式(1)—(5)给出的检测算法, 为了获得焊接坡口的特征参数和焊枪高度, 在已知D2、f和α之后, 尚需对所拍摄的图像进行处理, 获得特征点1~6在像平面内的坐标值x′1, x′2, …, x′6和y′1, y′2, …, y′6。
视觉传感器采用十字线和一字线激光结构光组合的方式, 虽然可以通过图像处理获取更为丰富的特征点信息, 但也增加了图像处理的难度, 且图像处理的精度直接影响焊接坡口特征参数的检测精度, 因此需要合理选择图像处理算法, 既兼顾精度又具备良好的实时性。本文以V形焊接坡口为例, 采用图 2的流程来进行图像处理。
 |
| 图 2 图像处理过程 |
| 图选项 |
2.1 图像预处理2.1.1 动态ROI提取CCD相机所拍摄的图像是256灰度级、1 628× 1 236像素的灰度图像。由于包含激光线及特征点的有价值信息仅集中在整幅图像的中心区域, 如果对整幅图像进行处理, 不仅运算量和时间消耗大, 难以满足实时性要求, 还会引入过多不必要的噪声干扰, 增加图像处理的难度。因此, 对图像进行动态感兴趣区(region of interest, ROI)提取十分必要, 不仅可以减少图像处理的运算量, 提升图像处理的实时性, 还可以有效去除多余噪声, 获得更加清晰的图像。
理论上, ROI的区域越小, 图像处理的速度越快, 但可能存在关键特征信息丢失的风险；而ROI区域过大, 则会导致运算量降低有限, 失去ROI提取的意义, 而且ROI区域选取还会直接影响图像的后续处理过程[12-13], 因此, 选择适合的ROI区域是图像预处理的关键。
考虑到激光线在所拍摄图像中的明显分布特征, 即包括1条水平激光线和2条竖直激光线, 对图像进行水平扫描投影和竖直扫描投影, 按照扫描方向进行像素的灰度值加和, 求取灰度值加和结果的极大值点, 从而可获得这3条激光线的位置所在。以水平方向的激光线为基准, 在其上、下分别给出200个像素的量宽, 以2条竖直激光线为基准, 并考虑到激光线是从右侧射入、在图像上产生向左的弯折, 因此分别给出左侧激光线向左250个像素的量宽, 右侧激光线向右150个像素的量宽, 从而确定出ROI区域的位置, 实现对ROI区域的动态提取。图 3为动态ROI区域提取图。
 |
| 图 3 动态ROI区域提取图 |
| 图选项 |
2.1.2 顶帽变换图 4所示为所拍摄图像ROI区域的三维可视化图。观察发现：图像中的激光线亮度分布不均匀, 且焊接坡口底部及其两侧的激光线亮度不足。如果直接进行二值化处理, 可能会造成图像中关键特征信息的丢失, 为此, 对图像进行顶帽变换, 以使图像中的激光线亮度变得均匀。顶帽变换原理为
| $h = f - {\rm{open}}\left( f \right).$ | (6) |
 |
| 图 4 顶帽变换前的图像三维可视化图 |
| 图选项 |
开运算open(f)的处理效果是放大原图像f的局部低亮度区域。因此, 从原图像f中减去开运算后的图像open(f), 得到的效果图像h会突出原图像f中较为明亮的区域, 是一种很好的图像对比度拉伸方法, 并且还会一定程度上改善原图像f中灰度分布不均匀的问题, 消除背景对激光线提取的干扰[14]。顶帽变换后的图像三维可视化图如图 5所示。
 |
| 图 5 顶帽变换后的图像三维可视化图 |
| 图选项 |
由图 5可以清楚地看出, 虽然图像经顶帽变换后的整体亮度降低, 但是激光线的亮度变得更加均匀, 并且可以很好地和图像背景区分开。经顶帽变换后的ROI区域图像如图 6a所示。
 |
| 图 6 CCD图像预处理 |
| 图选项 |
2.1.3 自适应二值化处理与中值滤波对图像进行二值化处理一般采用Ostu法, 通过计算整幅图像的直方图特性, 实现全局阈值T的自动选取, 如果图像中某像素的灰度值小于T, 则将该像素的灰度值设置为0, 否则设置为最大值255, 其灰度阈值变换的表达式为[15]
| $f\left( x \right) = \left\{ {\begin{array}{*{20}{c}}{0,}&{x < T;}\\{255}&{x > T.}\end{array}} \right.$ | (7) |
为了解决采用Ostu法进行图像二值化产生的关键特征信息丢失问题, 进一步采用自适应二值化方法对图像进行处理。自适应二值化是针对灰度不均匀的图像所设计的二值化方法, 该方法根据图像不同区域的亮度分布来改变阈值, 通过计算某个像素点的邻域到中心点距离的Gauss方程得到权值, 进而保证图像中各个像素点的阈值会随着周围邻域块的变化而变化[16-17]。运用该方法得到的二值化图像如图 6c所示。该图像中, 激光线的周围仍存在少量噪声点, 可以通过3×3模板的中值滤波去除[18], 中值滤波后的二值化图像如图 6d所示。
自适应二值化和中值滤波后的图像三维可视化图如图 7所示, 可以清晰地看出, 这样的处理方式很好地将激光线和背景区分开来。
 |
| 图 7 自适应二值化和中值滤波后的三维可视化图和顶视图 |
| 图选项 |
2.2 中心线提取为了提取经过上述预处理后的图像中的激光中心线, 首先对图像中的激光线进行边缘识别。图像边缘是图像最基本的特征之一, 边缘点是图像中与周围像素点的灰度存在阶跃变化的像素点, 存在灰度值导数较大或极大值。边缘检测算法即是基于寻找灰度值导数极大值的思想进行边缘识别。常用的基于一阶导数的边缘检测算子，包括Roberts算子、Sobel算子、Prewitt算子等；基于二阶导数的边缘检测算子主要是Laplacian of Gaussian边缘检测算子。
首先使用基于一阶导数的3种边缘检测算子进行边缘识别。通过观察识别后的图像发现, Roberts算子利用局部差分算子寻找边缘, 对边缘的定位精度较高, 但同时也容易丢失部分边缘点(见图 8a)。Sobel算子和Prewitt算子都考虑了邻域信息, 对图像先进行加权平滑处理, 再做微分运算, 对边缘识别更加完整, 但同时检测结果中会出现虚假边缘, 容易出现多像素宽度[19](见图 8b和8c)。
 |
| 图 8 应用4种不同算子的边缘识别效果 |
| 图选项 |
基于上述现象, 进一步采用基于二阶导数的Laplacian of Gaussian算子进行边缘识别。
| $\begin{array}{*{20}{c}}{{\nabla ^2}G\left( {x,y} \right) = }\\{ - \frac{1}{{{\rm{ \mathsf{ π} }}{\sigma ^4}}}\left[ {1 - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right]\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right).}\end{array}$ | (8) |
在成功获取图像的单像素边缘后, 对提取的激光线边缘进行求中点的方法, 得到激光线的中心线所在位置的离散点, 采用最小二乘法对图 9中的7组激光线的中心线的离散点进行直线拟合, 即可完成激光线的中心线的提取过程[22]。激光中心线的提取效果如图 9所示。
 |
| 图 9 激光中心线的提取效果 |
| 图选项 |
2.3 特征点识别在获得图 9所示的7条激光中心线的直线方程后, 通过方程联立求交点的方法, 可实现对图像中6个特征点坐标值的提取, 提取效果如图 10所示。
 |
| 图 10 焊接坡口的特征点提取效果 |
| 图选项 |
假设x′1 ~x′6, y′1 ~y′6分别为特征点1~6在像平面内的坐标值。联立的方程对可表示为：
| $\left\{ \begin{array}{l}{{y'}_1} = {k_2}{{x'}_1} + {b_2},\\{{y'}_1} = {k_4}{{x'}_1} + {b_4};\end{array} \right.\left\{ \begin{array}{l}{{y'}_2} = {k_3}{{x'}_2} + {b_3},\\{{y'}_2} = {k_6}{{x'}_2} + {b_6};\end{array} \right.$ | (9) |
| $\left\{ \begin{array}{l}{{y'}_3} = {k_2}{{x'}_3} + {b_2},\\{{y'}_3} = {k_5}{{x'}_3} + {b_5};\end{array} \right.\left\{ \begin{array}{l}{{y'}_4} = {k_3}{{x'}_4} + {b_3},\\{{y'}_4} = {k_7}{{x'}_4} + {b_7};\end{array} \right.$ | (10) |
| $\left\{ \begin{array}{l}{{y'}_5} = {k_1}{{x'}_5} + {b_1},\\{{y'}_5} = {k_4}{{x'}_5} + {b_4},\\{{y'}_5} = {k_5}{{x'}_5} + {b_5};\end{array} \right.\left\{ \begin{array}{l}{{y'}_6} = {k_1}{{x'}_6} + {b_1},\\{{y'}_6} = {k_6}{{x'}_6} + {b_6},\\{{y'}_6} = {k_7}{{x'}_6} + {b_7}.\end{array} \right.$ | (11) |
3 检测系统与验证试验在光学平板上搭建基于组合激光结构光的视觉传感器检测系统, 如图 11所示。
 |
| 图 11 焊接坡口检测系统实物 |
| 图选项 |
为了验证所提出的视觉传感器的适用性和相关检测、图像处理算法的有效性, 以V型焊接坡口为例, 设计加工了厚度分别为15和25 mm的2组试件, 分为对称和非对称坡口进行检测试验。
检测试验过程为：采用CCD相机拍摄包含投射激光线的焊接坡口图像, 在PC机上利用Visual Studio平台, 运用上述经过改进和优化的图像处理算法组合对图像进行处理, 获得图像上特征点1~6的坐标值, 然后由式(1)—(6)计算求取焊接坡口的特征参数(其中f=6 mm, D2=20 mm, α=30°), 3次检测值取平均后的结果如表 1所示。多次试验的检测结果值相对稳定, 图像处理流程适应性较强。与坡口的实际测量值相比, 检测误差均在±4%以内。
表 1 焊接坡口特征尺寸参数检测结果(3次测量平均值)
| 板厚和坡口角度组合 | 15 mm | 25 mm | |||||
| 20°×20° | 20°×30° | 30°×30° | 20°×20° | 20°×30° | 30°×30° | ||
| 实际值 | 4.73 | 7.51 | 7.51 | 8.37 | 13.28 | 13.28 | |
| b1/mm | 检测值 | 4.80 | 7.44 | 7.62 | 8.61 | 13.12 | 13.52 |
| 误差值 | 1.47% | -0.93% | 1.46% | 2.87% | -1.20% | 1.81% | |
| 实际值 | 4.73 | 4.73 | 7.51 | 8.37 | 8.37 | 13.28 | |
| b2/mm | 检测值 | 4.89 | 4.69 | 7.24 | 8.65 | 8.41 | 13.64 |
| 误差值 | 3.38% | -0.85% | -3.60% | 3.35% | 0.48% | 2.71% | |
| 实际值 | 20.00 | 30.00 | 30.00 | 20.00 | 30.00 | 30.00 | |
| ω1/(°) | 检测值 | 19.92 | 30.48 | 30.17 | 20.16 | 29.63 | 30.42 |
| 误差值 | -0.4% | 1.60% | 0.57% | 0.80% | -1.23% | 1.40% | |
| 实际值 | 20.00 | 20.00 | 30.00 | 20.00 | 20.00 | 30.00 | |
| ω2/(°) | 检测值 | 20.15 | 20.36 | 30.10 | 20.39 | 20.03 | 30.29 |
| 误差值 | 0.75% | 1.80% | 0.33% | 1.95% | 0.15% | 0.97% | |
| 实际值 | 13.00 | 13.00 | 13.00 | 23.00 | 23.00 | 23.00 | |
| h/mm | 检测值 | 13.12 | 12.64 | 12.80 | 23.36 | 23.07 | 23.19 |
| 误差值 | 0.92% | -2.77% | -1.54% | 1.57% | 0.30% | 0.83% | |
表选项
检测精度受CCD相机内参数、镜头畸变、激光平面间距、平行度和垂直度及其与相机夹角等参数影响, 如要获取更高的检测精度, 可通过对传感器的内参数进行更精确的校准和标定实现。
4 结论1) 基于组合激光结构光的新型视觉传感器, 由于一字线和十字线激光发射器发射的激光平面平行和垂直, 平行激光平面的间距及其与CCD相机光学中轴线的倾角固定, 相当于在传感器内部设置了标定基准, 可实现传感器的外参数自标定。这种空间结构的光路设计方式避免了传感器在安装至焊枪后需要针对焊枪高度或位姿变化时的反复标定, 在使用过程中即使存在焊枪高度或位姿变化, 也能进行有效检测, 显著提升了传感器的适应性。
2) 针对图像预处理、激光中心线提取和焊接坡口(焊缝)特征点识别, 给出了改进的图像处理算法、优化的图像处理流程和算法组合。基于水平投影和竖直投影的动态ROI提取方式不仅可有效提升图像处理的运算速度, 并且ROI区域会随着激光线位置的变化而自动调整, 显著改善了图像处理系统的稳定性和适应性；顶帽变换与自适应二值化的组合处理方式改善了焊接坡口图像中激光线的灰度分布不均匀问题, 可以准确地将激光线从复杂的背景图像中提取出来, 避免了直接采用Ostu法进行二值化处理所造成的关键特征信息缺失问题；中值滤波有效地去除了激光线周边的噪声；LOG算子克服了Laplacian算子抗噪声能力差的不足, 同时也避免了激光线双边缘的出现。
3) 对具有不同特征尺寸的V形焊接坡口进行了检测试验, 验证了所提出的视觉传感器及其检测算法、改进的图像处理算法及优化的图像处理流程的有效性和适应性, 可精确地获取拍摄图像中的特征点坐标值, 进而直接计算获得焊接坡口宽度、深度和角度等。检测误差在±4%以内, 可以满足电弧焊接的焊缝跟踪需要。
参考文献
| [1] | 罗璐, 林三宝, 伏喜斌, 等. 基于激光视觉的焊缝特征信息检测技术研究[J]. 焊接, 2008(7): 33-37. LUO L, LIN S B, FU X B, et al. Inspection technology on joint feature information based on laser vision[J]. Welding & Joining, 2008(7): 33-37. DOI:10.3969/j.issn.1001-1382.2008.07.011 (in Chinese) |
| [2] | LEE S K, NA S J. A study on automatic seam tracking in pulsed laser edge welding by using a vision sensor without an auxiliary light source[J]. Journal of Manufacturing Systems, 2002, 21(4): 302-315. DOI:10.1016/S0278-6125(02)80169-8 |
| [3] | 于英飞, 郭吉昌, 朱志明. 焊接可视化技术的发展与研究现状[J]. 焊接, 2017(12): 4-8. YU Y F, GUO J C, ZHU Z M. Development and research status of welding visualization technology[J]. Welding & Joining, 2017(12): 4-8. (in Chinese) |
| [4] | 郭吉昌, 朱志明, 于英飞, 等. 焊接领域激光结构光视觉传感技术的研究及应用[J]. 中国激光, 2017, 44(12): 7-16. GUO J C, ZHU Z M, YU Y F, et al. Research and application of visual sensing technology based on laser structured light in welding industry[J]. Chinese Journal of Laser, 2017, 44(12): 7-16. (in Chinese) |
| [5] | 章妍.基于铝合金GTAW焊三光路视觉传感的熔池特征提取[D].上海: 上海交通大学, 2014. ZHANG Y. Visual characters extraction of weld pool based on three path meseurement during aluminum alloy GTAW process[D]. Shanghai: Shanghai Jiao Tong University, 2014. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10248-1015028422.htm |
| [6] | 刘志辉.坡口及焊缝数字轮廓的激光光栅视觉测量[D].兰州: 兰州理工大学, 2018. LIU Z H. Laser grating vision measurement of groove and weld digital contour[D]. Lanzhou: Lanzhou University of Technology, 2018. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10731-1018956122.htm |
| [7] | 冈萨雷斯, 伍兹.数字图像处理[M].阮秋琦, 阮宇智, 译.北京: 电子工业出版社. 2011. GONZALEZ R C, WOODS R E. Digital image processing[M]. RUAN Q Q, RUAN Y Z, trans. Beijing: Publishing House of Electronic Industry. 2011. (in Chinese) |
| [8] | 刘子腾, 白瑞林, 王秀平. 基于激光视觉的角焊缝图像特征点提取[J]. 焊接学报, 2016, 37(2): 89-93. LIU Z T, BAI R L, WANG X P. Image feature extraction of fillet weld based on laser vision[J]. Transactions of the China Welding Institution, 2016, 37(2): 89-93. (in Chinese) |
| [9] | 郭吉昌, 朱志明, 孙博文. 基于视觉的焊枪空间位姿实时检测技术[J]. 电焊机, 2018, 48(9): 1-7. GUO J C, ZHU Z M, SUN B W. Real-time detection of position and attitude for welding torch based on vision[J]. Electric Welding Machine, 2018, 48(9): 1-7. (in Chinese) |
| [10] | GUO J C, ZHU Z M, SUN B W, et al. Principle of an innovative visual sensor based on combined laser structured lights and its experimental verification[J]. Optics & Laser Technology, 2019, 111: 35-44. |
| [11] | GUO J C, ZHU Z M, SUN B W, et al. A novel multifunctional visual sensor based on combined laser structured lights and its anti-jamming detection algorithms[J]. Welding in the World, 2018. DOI:10.1007/s40194-018-0654-y |
| [12] | 王璇.焊接机器人焊缝信息视觉检测系统研究[D].天津: 河北工业大学, 2013. WANG X. Research on visual detection sensor of welding robot[D]. Tianjin: Hebei University of Technology. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10080-1014031903.htm |
| [13] | 赵军.大构件焊缝磨抛机器人视觉测量技术的研究[D].长春: 吉林大学, 2014. ZHAO J. Research on grinding/polishing robotic vision measurement technology for weld beads of large structural parts[D]. Changchun: Jilin University, 2014. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10183-1014267948.htm |
| [14] | 沈同平, 王元茂, 方芳, 等. 基于灰度形态学的图像边缘特征提取算法研究[J]. 兰州文理学院学报(自然科学版), 2018, 32(2): 58-61. SHEN T P, WANG Y M, FANG F, et al. Edge feature extraction algorithm based on gray morphology[J]. Journal of Lanzhou University of Arts and Science (Natural Sciences), 2018, 32(2): 58-61. (in Chinese) |
| [15] | 范九伦, 赵凤. 灰度图像的二维Otsu曲线阈值分割法[J]. 电子学报, 2007, 35(4): 751-755. FAN J L, ZHAO F. Two-dimensional Otsu's curve thresholding segmentation method for gray-level images[J]. Acta Electronica Sinica, 2007, 35(4): 751-755. DOI:10.3321/j.issn:0372-2112.2007.04.029 (in Chinese) |
| [16] | 郭佳.基于光照不均匀图像的自适应二值化方法研究[D].武汉: 武汉科技大学, 2013. GUO J. The research of binarization method based on non-uniform illumination images[D]. Wuhan: Wuhan University of Science and Technology, 2013. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10488-1014113591.htm |
| [17] | 陈铖.焊缝跟踪系统中基于C++的图像处理技术研究[D].成都: 西南交通大学, 2017. CHEN C. Research on image processing technology based on C++ in weld tracking system[D]. Chengdu: Southwest Jiaotong University, 2017. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10613-1017137940.htm |
| [18] | 刘习文, 王国荣, 石永华. 单条纹激光引导焊缝跟踪图像处理[J]. 焊接学报, 2006, 27(6): 25-28, 32. LIU X W, WANG G R, SHI Y H. Image processing in welding seam tracking based on single stripe laser[J]. Transactions of the China Welding Institution, 2006, 27(6): 25-28, 32. DOI:10.3321/j.issn:0253-360X.2006.06.007 (in Chinese) |
| [19] | 刘蕊.数字图像中边缘检测算法的研究[D].镇江: 江苏科技大学, 2009. LIU R. Digital image edge detection algorithm[D]. Zhenjiang: Jiangsu University of Science and Technology, 2009. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10289-2010214303.htm |
| [20] | 张铮, 徐超, 任淑霞, 等. 数字图像处理与机器视觉[M]. 2版.北京: 人民邮电出版社, 2014. ZHANG Z, XU C, REN S X, et al. Digital image processing and machine vision[M]. 2nd ed. Beijing: Post & Telecom Press, 2014. (in Chinese) |
| [21] | 管力明, 李磊, 林剑. 基于改进LOG算子的图像边缘检测方法[J]. 机电工程, 2010, 27(12): 113-115. GUAN L M, LI L, LIN J. Image edge detection method based on improved LOG operator[J]. Journal of Mechanical & Electrical Engineering, 2010, 27(12): 113-115. DOI:10.3969/j.issn.1001-4551.2010.12.028 (in Chinese) |
| [22] | 李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述[J]. 激光与光电子学进展, 2013, 50(10): 100002. LI YY, ZHANG Z Y, YUAN L. Survey on linear structured light stripe center extraction[J]. Laser & Optoelectronics Progress, 2013, 50(10): 100002. (in Chinese) |
