, 权巍 1 , 韩成 1 1. 长春理工大学 计算机科学与技术学院, 长春 130022;
2. 清华大学 自动化系, 北京 100084
收稿日期：2015-10-21
基金项目：国家自然科学基金资助项目（61671265，61602058）；中科院重点实验室基金（WLHKZ2015007）
作者简介：丁莹(1983—), 女, 副研究员
通信作者：范静涛, 助理研究员, E-mail:fanjingtao@tsinghua.edu.cn
摘要：视觉系统在工业生产等领域的应用越来越广泛，而光学渐晕效应直接影响着成像系统采集图像的质量，进而影响了视觉检测的精度。该文提出了一种光学渐晕效应非线性补偿方法，基于对渐晕效应的原理分析，定义了图像的相对曝光量，利用耦合采样解耦重建的方式，求解相机响应函数，构建渐晕效应补偿模型对图像进行渐晕效应校正，从而保证光学系统成像质量。实验结果表明：该方法具有可行性，能够有效消除镜头的渐晕效应，为视觉检测系统的高精度检测提供了保障。
关键词：信息处理视觉检测渐晕效应非线性补偿相对曝光量
Nonlinear compensation for optical vignetting in vision systems
DING Ying1, FAN Jingtao2
, QUAN Wei1, HAN Cheng11.College of Computer Science and Technology, Changchun University of Science and Technology, Changchun 130022, China;
2.Department of Automation, Tsinghua University, Beijing 100084, China
Abstract: Visual inspection systems are being more and more widely applied in industrial production, but optical vignetting directly affects the imaging quality, which affects the inspection accuracy. A nonlinear compensation method for optical vignetting is given which uses the vignetting principle, to define the relative exposure of the image with coupled sampling and decoupling reconstruction to determine the camera response curve. A vignetting compensation model is then developed to eliminate the vignetting effect of the lens to improve the image quality. Tests show that the method is effective and provides excellent vision inspection quality.
Key words: information processingvision inspectionoptical vignetting effectnonlinear compensationrelative exposure
光学成像系统中，由于离轴物点相对相机的进光量逐渐减少，导致像面照度从中心向边缘非线性衰减，称为渐晕效应。渐晕效应是光学成像系统普遍存在的现象，它使得成像系统对不同角度入射光线的有效接收能量不均匀，输出信号也不均匀，进而导致最终图像存在颜色、亮度失真问题，严重影响了利用图像进行视觉检测的精度。
Yu等[1-2]和Zheng等[3]提出了一种基于查表法(look up table，LUT)来消除影像渐晕现象的算法，使用标准影像测量出数字图像灰度衰减量相对于像素位置的变化关系，建立LUT表对图像进行补偿以消除渐晕效应。李炜等[4]提出了基于二维Gauss曲面拟合的图像灰度补偿算法，根据图像灰度分布统计特性估计二维Gauss曲面的各个参数，从而实现图像灰度补偿。但是利用该方法进行积分的计算并不够准确，同时参数估计的结果也会存在较大误差。何凯等[5]提出利用逐行拟合的方法进行渐晕效应的复原，即使用图像相邻两行的灰度值进行图像的平滑处理，该方法可在一定程度上减轻渐晕效应影响，但当实际图像相邻两行灰度变化较大时，会出现线性条纹。何凯等[6]又将最速下降法引入到Gauss曲面估计当中，推导出Hesse矩阵的相关系数，通过Hesse矩阵逐次迭代收敛，获得Gauss曲面的相关参数值。现有的渐晕效应补偿方法[7]均是针对人眼的主观感受进行补偿，而没有从客观上对照度进行还原。
本文提出了一种基于相机响应函数的光学渐晕效应非线性补偿方法。通过对渐晕效应的原理进行分析，定义了图像的相对曝光量，利用耦合采样解耦重建的方式，求解了相机响应函数，构建了渐晕效应补偿模型。最后通过实验验证了该方法的可行性，极大地消除了镜头的渐晕效应，提高了成像质量，为视觉系统的高光度学一致性提供了保障。
1 光学渐晕效应的数理模型在小孔成像原理的基础上，假设成像系统为薄棱镜成像系统，由光度学[8]基础知像面边缘照度低于像面中心照度，由中心到边缘照度值的衰减服从视场角余弦4次方的规律，称为余弦渐晕。
如图 1所示，物体上任意一点P的景物片段δA发出的光线，穿过薄透镜入射到以P′为中心的图像块δA′上。从δA发出的光投影到透镜的功率P可用物体辐射度L表示：
| $\delta P = L\mathit{\Omega }\delta \mathit{A}\cos \beta = \frac{{\rm{\pi }}}{4}{\left( {\frac{d}{z}} \right)^2}{\cos ^3}\alpha \cos \beta .$ | (1) |
 |
| 图 1 物体的辐射度与图像的辐照度示意图 |
| 图选项 |
其中：透镜中心到物体平面和图像平面的距离分别为z和z′，α为P′对应的离轴角，β为δA法向量与光轴的夹角，δA(或δA′)对应透镜中心的立体角为ω，透镜直径为d、面积为
功率δP被透镜汇聚到图像平面的表面块δA′，可得照度E为
| $E = \frac{{\delta P}}{{\delta A'}} = \left[ {\frac{{\rm{\pi }}}{4}{{\left( {\frac{d}{{z'}}} \right)}^2}{{\cos }^4}\alpha } \right]L.$ | (2) |
在实际的成像系统中，图像所表现出的灰度渐晕成因复杂，耦合了镜头光学设计及优化、图像传感器的非线性响应函数等因素。故在实际操作中，难以使用余弦4次方关系进行校正，应对光学镜头渐晕和相机响应函数进行解耦建模。
2 渐晕效应非线性补偿方法现有的渐晕效应消除方法可归纳为补偿函数：
| ${{G'}_{\left( {x,y} \right)}} = {G_{\left( {x,y} \right)}}S\left( {{D_{\left( {x,y} \right)}}} \right).$ | (3) |
显然，式(3) 所表征的校正方法认为灰度补偿函数取值只与像素位置有关，而与该位置像素的灰度值本身无关。但相机响应函数为非线性函数，进行补偿的是像元的照度而非像素灰度，故不能仅靠像素位置对像素灰度进行补偿。
因此，完善的灰度补偿过程应包含相机响应函数的非线性因素，补偿函数定义为
| ${{G'}_{\left( {x,y} \right)}} = f\left( {{f^{ - 1}}\left( {{G_{\left( {x,y} \right)}}} \right)S\left( {{D_{\left( {x,y} \right)}}} \right)} \right).$ | (4) |
2.1 相机响应函数由于照度与镜头口径、光圈瞳孔面积、被摄物点亮度相关[9]，而无渐晕效应条件下，如果物体在不同拍摄参数下形成的像素灰度值相同，则辐照量必然相同。为此将相机的响应函数定义为无渐晕效应条件下，某一感光像元上辐照量H与像素灰度G之间的关系，
| $H = \int_0^t {E{\rm{d}}t} .$ | (5) |
| $H = Et.$ | (6) |
选取图像中心灰度均值最接近128的图像Ii，i={i|min|(Gi－128)|, i=0, 1, …, 20}。设图像Ii的曝光时间为基准值ts，中心像素曝光量为基准值Hs。
考虑到曝光时间与渐晕效应无关，仅与图像生成有关，为在渐晕补偿模型中消除曝光时间影响，本文定义了相对曝光量H*：
| ${H^ * } = \frac{H}{{{H_{\rm{s}}}}}.$ | (7) |
| $H_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}^ * = \frac{{{H_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}}}{{{H_{{\rm{s}}\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}}} = \frac{{{E_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}t}}{{{E_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}{t_{\rm{s}}}}} = \frac{t}{{{t_{\rm{s}}}}}.$ | (8) |
使用相对曝光量建立相机响应函数最大的优势是不需考虑被摄物亮度L和光圈F值(光圈较小的情况下)等。
2.2 渐晕补偿建模图像I中绝大多数点在轴外成像，如图 2所示。任意一点P成像在(xi，yi)位置，灰度值为G(xi, yi)；而拍摄参数不变，可通过相机平移，使P点在图像中心(xc，yc)位置成像，对应的灰度值为G(xc, yc)。
 |
| 图 2 相机平移成像对比图 |
| 图选项 |
为此，该特性可应用于本文的渐晕效应补偿中，即物点P消除渐晕效应后的灰度值可通过平移相机得到。图像I在相同环境和相同拍摄参数下，不同位置像素灰度的不同正是受到光学镜头渐晕的影响。则有
| $\left\{ \begin{array}{l}{{G'}_{\left( {{x_i},{y_i}} \right)}} = {G_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}},\\H_{\left( {{x_i},{y_i}} \right)}^{ * '} = H_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}^ * .\end{array} \right.$ | (9) |
| $\frac{{H_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}^ * }}{{H_{\left( {{x_i},{y_i}} \right)}^ * }} = \frac{{{E_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}t}}{{{E_{\left( {{x_i},{y_i}} \right)}}t}} = \frac{{{E_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}}}{{{E_{\left( {{x_i},{y_i}} \right)}}}}.$ | (10) |
构建函数D(x, y)，定义为视场百分比函数，由图像中心(0%视场)到边缘(100%视场)，取值范围0%~100%，则利用相对曝光量可在数值上建立渐晕照度补偿函数如下：
| $S\left( {{D_{\left( {{x_i},{y_i}} \right)}}} \right) = \frac{{H_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}^ * }}{{H_{\left( {{x_i},{y_i}} \right)}^ * }}.$ | (11) |
| $H_{\left( {{x_i},{y_i}} \right)}^ * = S\left( {{D_{\left( {{x_i},{y_i}} \right)}}} \right)H_{\left( {{x_i},{y_i}} \right)}^ * .$ | (12) |
2.3 过曝检测使用相机进行投影图像照度均匀性测量，过度曝光有可能会导致所拍摄的数字图像高光部分溢出，对应的数字图像溢出部分像素灰度值截止于255，导致测量结果不可用。而镜头引入的渐晕效应也可用于检测图像是否过度曝光。
图像上非中心位置点的像素灰度值为G(x, y)，经数字图像渐晕效应灰度补偿模型补偿后的灰度值G′(x, y)若超过255，即说明该点进行照度补偿后，相对曝光量超出了该相机允许的最大相对曝光量。由于曝光量已高出相机的最大感光能力，拍摄时应缩小曝光量。
2.4 颜色空间变换像素灰度值是渐晕效应补偿中的重要变量，而不同的应用场合，图像的彩色空间可以用不同的彩色模型来表征和描述，常见的表现彩色图像的颜色空间模型有RGB、YCbCr、HSV、Lab颜色空间等[10-12]。
RGB是最常用的颜色空间，采用色光的色彩模式，3种色彩叠加形成不同颜色，但R、G、B这3个分量都包含了亮度信息，它们之间存在着很大的相关性，这种相关性不利于渐晕效应的补偿；而YCbCr是离散的颜色空间，其中Y代表图像的亮度信息，Cb和Cr分量代表颜色信息，该颜色空间将R、G、B分解成亮度信息和色度信息分别进行处理，且YCbCr颜色空间的Y、Cb、Cr值可以由RGB三基色经线性变换得到，计算效率高，更适用于渐晕效应补偿。
RGB空间到YCbCr空间的转换计算如下：
| $\left\{ \begin{array}{l}Y = 0.299R + 0.587G + 0.114B,\\{\rm{Cb = 0}}{\rm{.564}}\left( {B - Y} \right) + 128,\\{\rm{Cr = 0}}{\rm{.713}}\left( {R - Y} \right) + 128.\end{array} \right.$ | (13) |
| ${{Y'}_{\left( {x,y} \right)}} = f\left( {{f^{ - 1}}\left( {{Y_{\left( {x,y} \right)}}} \right)S\left( {{D_{\left( {x,y} \right)}}} \right)} \right).$ | (14) |
 |
| 图 3 Canon 5D Mark Ⅱ相机响应函数曲线 |
| 图选项 |
| $\begin{array}{l}Y = 256.1 - 181.3\exp \left( { - 0.4766X} \right) - \\\;\;\;\;\;\;75.02\exp \left( { - 1.536X} \right).\end{array}$ | (15) |
 |
| 图 4 40 mm焦距拍摄的数字图像I21~I24 |
| 图选项 |
对原始图像进行径向灰度分布分析，结果如图 5所示。
 |
| 图 5 数字图像I21~I24的径向灰度分布 |
| 图选项 |
各项已知，利用式(13) 即可对图像进行校正，校正效果如图 6所示。
 |
| 图 6 数字图像I21~I24的校正结果 |
| 图选项 |
对校正后图像进行径向灰度分布分析，结果如图 7所示。
 |
| 图 7 数字图像I21~I24校正后的径向灰度分布 |
| 图选项 |
对数字图像I21~I24，分别通过现有LUT方法和本文方法进行渐晕效应校正，对校正前后图像进行定量分析，选择图像灰度标准差作为衡量标准：
| $\sigma = \sqrt {\frac{1}{{MN}}\sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {{{\left( {{Y_{\left( {x,y} \right)}} - {Y_{\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}}} \right)}^2}} } } .$ | (16) |
校正前后对比情况如表 1所示。校正后灰度标准差降低到原始图像的24%~35%，有效改善了镜头渐晕效应对图像成像质量的影响。
表 1 不同方法渐晕效应补偿前后灰度标准差对比表
| 处理方法 | 图像I21 | 图像I22 | 图像I23 | 图像I24 |
| 校正前 | 10.30 | 15.68 | 16.02 | 12.32 |
| LUT方法 | 3.25 | 9.36 | 11.59 | 9.84 |
| 本文方法 | 2.44 | 4.79 | 5.12 | 4.29 |
表选项
4 结论本文分析了光学渐晕效应的数学模型及特性，研究了现有的渐晕效应补偿方法，得出现有方法是基于“像元照度与像素灰度呈线性关系”假设前提的。现有方法只能从人眼的主观感受上减轻渐晕效应的影响，但对于光度学一致性要求较高的视觉系统来说，它并不能作为检测、测量、判断等后期操作的依据。在此基础上，本文定义了图像的相对曝光量和像素灰度值-相对曝光量函数，进行相机响应函数的求解，构建了渐晕效应补偿模型，通过实验比较了相机拍摄图像校正前后与理想图像间的灰度均方差，验证了该方法的可行性，为视觉系统后续的处理、检测等工作奠定了基础。
参考文献
| [1] | Yu W, Chung Y, Soh J. Vignetting distortion correction method for high quality digital imaging [C]//Proceedings of the 17th International Conference on the Pattern Recognition. Piscataway, NJ, USA: IEEE, 2004: 666-669. |
| [2] | Yu W. Practical anti-vignetting methods for digital cameras[J]. IEEE Transactions on Consumer Electronics, 2004, 50(4): 975–983. DOI:10.1109/TCE.2004.1362487 |
| [3] | Zheng Y, Lin S, Kang S B. Single-image vignetting correction from gradient distribution symmetries[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1480–1494. DOI:10.1109/TPAMI.2012.210 |
| [4] | 李炜, 黄心汉, 王敏. 基于二维高斯曲面拟合的图像灰度补偿算法[J]. 华中科技大学学报(自然科学版), 2004, 32(2): 43–45.LI Wei, HUANG Xinhan, WANG Min. A compensation algorithm of image based on Gaussian quadrics fitting[J]. Journal of Huazhong University of Science and Technology (Nature Science Edition), 2004, 32(2): 43–45. (in Chinese) |
| [5] | 何凯, 赵红颖, 刘晶晶. 航空遥感影像渐晕复原方法研究[J]. 吉林大学学报(工学版), 2007, 37(6): 1447–1450.HE Kai, ZHAO Hongying, LIU Jingjing. Vignetting correction method for aviatic remote sensing image[J]. Journal of Jilin University (Engineering and Technology Edition), 2007, 37(6): 1447–1450. (in Chinese) |
| [6] | 何凯, 唐平凡, 王成优. 基于高斯曲面拟合的影像渐晕复原方法[J]. 电子学报, 2009, 37(1): 67–71.HE Kai, TANG Pingfan, WANG Chengyou. Vignetting correction method of image based on Gaussian quadrics fitting[J]. ACTA Electronica Sinica, 2009, 37(1): 67–71. (in Chinese) |
| [7] | Piccinini F, Lucarelli E, Gherardi A, et al. Multi-image based method to correct vignetting effect in light microscopy images[J]. Journal of Microscopy, 2012, 248(1): 6–22. DOI:10.1111/jmi.2012.248.issue-1 |
| [8] | Coralie C, Magali B, Arnaud D. Comparison of the vignetting effects of two identical fisheye lenses[J]. Leukos the Journal of the Illuminating Engineering Society of North America, 2012, 8(3): 181–203. |
| [9] | Kim S J, Pollefeys M. Robust radiometric calibration and vignetting correction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 562–576. DOI:10.1109/TPAMI.2007.70732 |
| [10] | Goldman D B, Chen J H. Vignette and exposure calibration and compensation [C]//Proceedings of the Tenth IEEE International Conference on Computer Vision. Washington DC, USA: IEEE, 2005: 2276-2288. |
| [11] | MENG Hongji, GUAN Wenrui, LIU Can, et al. Algorithm research of vignetting distortion correction based on near-infrared CCD thermometer [C]//International Conference on Design, Manufacturing and Mechatronics. Wuhan, China, 2015: 1290-1298. |
| [12] | Bergues G J, Canali L, Schurrer C, et al. Electronic interface with vignetting effect reduction for a Nikon 6B/6D autocollimator[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(12): 3500–3509. DOI:10.1109/TIM.2015.2444263 |
