摘要:光场成像技术可以通过场景的光场信息实现场景全聚焦图像合成和背景目标的去遮挡重聚焦等应用, 其中如何有效评价图像中的聚焦区域是进行上述应用的前提. 但是, 传统成像系统离焦物体的点扩散特性与光场重聚焦图像中离焦特性存在本质差异, 因此基于离焦物点扩散特性的评价标准无法适用光场重聚焦图像的聚焦度评价. 针对上述问题, 本文从光场成像重聚焦的原理出发, 分析离焦目标图像的虚化特征, 设计光场重聚焦图像的聚焦度评价函数, 在此基础上研究了聚焦区域的精细化分割方法. 光场重聚焦实验和去前景遮挡重聚焦实验表明了本文方法在光场重聚焦图像聚焦度评价中的有效性.
关键词: 光场/
重聚焦/
聚焦度评价/
分割

English Abstract

全文HTML

--> --> -->

光场成像技术是一种不同于传统成像的新型成像技术, 该技术可以获取场景物体光辐射的四维信息, 进而通过数字重聚焦算法获取任意深度物面的数字对焦图像^[1]. 该技术区别于传统成像模式取景中手动对焦的过程, 可以通过计算实现大深度范围场景指定目标的聚焦成像. 当场景中待聚焦重建目标被其他物面目标遮挡时, 重聚焦图像中感兴趣的目标会叠加遮挡物虚化伪影, 严重影响重建质量^[2,3]. 因此必须对遮挡待建目标的前景物体辐射光线进行判决和筛除.
目前, 光场成像中前景目标的标记通常基于场景深度分布信息, 但是利用场景光场数据对深度分布进行估计需要繁琐的计算过程, 并且当场景复杂时深度分布的计算存在较大误差, 影响重建质量^[4]. 另一方面, 人们考虑利用聚焦和散焦区域的图像的清晰度纹理锐度特征对离焦区域进行判决^[5—10]. 但是现有空域和频域的清晰度评价函数均以传统成像系统散焦模型为基础, 即散焦函数建模时遵循弥散斑扩散规律^[11—15]. 然而光场重聚焦成像过程中离焦目标的虚化是由多视角图像错位叠加而成, 过程中场景的纹理和边缘信息在一定程度上得到保留, 宏观上表现为模糊的区域, 其中仍然包含大量的高频信息^[16,17]. 而传统成像模型基于弥散斑扩散机理的建模规律与数字重聚焦过程存在较大差异, 因此现有评价方式不能够很好地适用.
鉴于此, 本文从光场重聚焦计算成像的基本原理出发, 分析离焦物体虚化的本质, 提出适用于计算重聚焦的聚焦度判别方法, 并将本文算法应用到复杂场景的去遮挡聚焦重建中, 结果表明本文算法能够有效标记和分离虚化伪影信息, 保证场景中局部被遮挡目标的高质量聚焦重建.

光场是对空间光辐射方向和强度信息的参数化表示, 它反映了光辐射强度的分布位置与传播方向的映射关系. 根据 光场渲染理论, 其被简化为四维光场函数$L(u,v,s,t)$, 其中u, v和s, t分别表示辐射光线与空间两平面交点坐标, 从而可以通过空间两点来描述辐射场中的任意一条光线^[18,19], 如图1所示.
图 1 光场的双平面表示方法示意图
Figure1. Schematic diagram of biplane representation of light field.

若将传统成像系统的光瞳平面和探测器平面对应到双平面模型中两个相互平行的平面, 可以认为探测器平面上的任一点s, t的探测数值是经过光瞳平面的不同方向光辐射的积分. 可见传统成像系统无法对光辐射的方向和位置进行区分, 但是如果将相机按照一定的规律进行移动形成虚拟相机阵列, 从多个视角对同一场景进行成像, 便可以有效获取场景辐射的光场信息.
以视点的一维运动构成的$1 \times N$虚拟相机阵列为例进行详细分析, 相机在移动过程中光轴相互平行, 且均垂直于视点组成的空间平面, 移动步进表示为B.
如图2所示, 场景中物点M距相机阵列距离为z, ${R_e}$为参考视点, f为相机焦距, 对于视点n和${R_e}$来说, 其光心与M的连线与成像平面相交, 交点为M在成像平面上的投影点, 分别距图像左端的距离为${S_n}$与${S_r}$, 根据三角几何关系:
图 2 多视点合成孔径成像系统示意图
Figure2. Schematic diagram of a multiview synthetic aperture imaging system.

$\frac{{({R_e} - n) \cdot B}}{z} = \frac{{({R_e} - n) \cdot B + {S_r} - {S_n}}}{{z - f}},$

其中, ${S_r} - {S_n}$为M点在n与${R_e}$视点对应图像中的视差, 表示为$\Delta d$, 则可得

$\Delta d = \frac{{({R_e} - n) \cdot B \cdot f}}{z}.$

重聚焦过程中, 为保证重建图像对应特定深度目标的清晰度, 需要消除各视点对应图像中目标物的视差. 假设M点为重聚焦所在物面, 则各视点对应图像的去视差结果表示为

${I_{n,z}}(s') = {I_n}(s - \Delta {B_n} \cdot \tau ),$

其中$\Delta {B_n}$表示视点n与参考视点间的距离, $\tau = {f}/{z}$为调焦系数, ${I_{n,z}}$表示为相机n对焦至深度z下的图像, s表示所有物点在原始图像的位置, $s'$表示经变换的物点所在的新位置.
可以通过调整$\tau $值的大小对焦至不同深度z对应的目标. 将去视差后的多视点图像进行求和平均, 得到对焦至M点所在物面的重聚焦图像.

${S_z} = \frac{1}{N}\sum\limits_{n = 1}^N {{I_{n,z}}} .$

将(4)式进行二维扩展可以获得二维虚拟相机阵列各视点对应图像的去视差结果, 表示为

${I_{n,z}}(s',t') = {I_n}(s - \Delta {B_{n,x}} \cdot \tau,t - \Delta {B_{n,y}} \cdot \tau ).$

由第2节分析可知, 光场重聚焦过程是通过调节调焦系数实现场景中指定深度物面的重建过程. 过程中多视点获取的图像序列按照(5)式进行线性平移获取去视差图像序列, 所谓的去视差是针对特定深度聚焦面目标而言, 而离焦面目标经过平移变换后仍然存在一定视差. 最终将经过去视差的图像序列进行叠加平均, 聚焦面目标得到增强而非聚焦面目标均会产生虚化.
但是该过程表现的虚化与传统成像系统的离焦过程存在较大差异, 传统成像系统中偏离聚焦平面的物点表现为一定尺寸的弥散斑, 场景中离焦目标物点所成的像彼此重叠从而导致图像变得模糊. 而数字聚焦过程中偏离聚焦平面的目标在任意视点的图像中若表现为清晰的边缘或纹理时, 由于视差的存在导致叠加后的图像对应区域的结构纹理或边缘信息仍然有突出的表现.
如图3所示, 重聚焦到不同物面时, 离焦目标区域边缘和纹理结构信息仍然保留. 离焦面区域在宏观方面表现为虚化, 但是从细节方面可以看出: 原始场景中的目标边缘或纹理信息仍然被较好地保留. 并且场景中前景目标虚化造成的模糊叠加在聚焦物面上, 形成虚化伪影. 因此采用传统成像系统的聚焦评价函数无法有效适用.
图 3 重聚焦至场景不同深度时离焦目标的虚化特征　(a) 重聚焦至前景(花为聚焦目标物); (b) 重聚焦至后景(画报为聚焦目标物)
Figure3. The blurring characteristics of defocused target when refocusing to different depth of the scene: (a) Refocus to the foreground (flower is the focus object; (b) refocus to the background (pictorial is the focus object).

鉴于上述问题, 本文从光场重聚焦的原理出发, 分析重聚焦计算造成离焦目标虚化的特征. 可以看出: 离焦面上的物点在多视图像序列对应位置处的像素值由于视差的存在表现出较大差异, 而聚焦面上的物点由于视差完全消除而表现出较好的一致性. 因此, 本文以指定聚焦因子情况下重聚焦图像像素值与多视点去视差后图像序列对应位置处的像素值的差异程度作为聚焦度评价的依据, 构造评价函数为

$C(s,t) = \frac{1}{N}\sqrt {\sum\limits_{n = 1}^N {{{\left[ {{I_{n,z}}(s,t) - {S_z}(s,t)} \right]}^2}} }, $

(6)式为重聚焦图像在$(s,t)$位置处的聚焦度评价函数, 其中${S_z}(s,t)$为重聚焦图像, ${I_{n,z}}(s,t)$为各视点按照聚焦因子去视差后的图像, N表示视点数量. 可以看出函数$C(s,t)$越小, 聚焦效果越好. 根据这一规则, 设置合适阈值对重聚焦图像进行遍历, 确定像素的聚焦度并进行分类.

遍历重聚焦图像对像素聚焦程度进行判别并标记, 初步判定可将其划分为聚焦、离焦和不确定三种类型. 但是, 基于上述分类结果无法实现聚焦区域和非聚焦区域的分割和提取. 因此, 本文采用的自然图像分割算法^[20,21]对初始分类图像进行精细化处理, 以实现最终聚焦区域提取. 该方法以颜色的局部平滑性假设为前提, 将图像表示为前景F和背景B的组合. 假设图像像素为前景的概率$\alpha $, 图像可以表示为

${I_i} = {\alpha _i}{F_i} + (1 - {\alpha _i}){B_i},$

其中i表示像素坐标, 则

$\begin{array}{*{20}{c}} {{\alpha _i} = a{I_i} + b},&{\forall ~ i \in w} \end{array},$

其中$a = \dfrac{1}{{F - B}}$, $b = - \dfrac{B}{{F - B}}$, w为以i为中心的窗口. 将该式构建为关于$\alpha $, a和b的代价函数:

$J(\alpha,a,b) = \sum\limits_{j \in I} \!{\left[ {\sum\limits_{i \in {w_j}} {{{({\alpha _i} \!-\! {a_j}{I_i} - {b_j})}^2}\! +\! \varepsilon a_j^2} } \right]},$

其中, ${w_j}$_j是以j为中心的窗口, $\varepsilon $为正则项. 计算获得关于$\alpha $的二次代价函数

$J(\alpha ) = {\alpha ^{\rm{T}}}{{L}}\alpha,$

其中L为一个拉普拉斯抠图矩阵, 表达式为

$\sum\limits_{k(i,j) \in {w_k}} \!\!{\left\{\!{{\delta _{ij}} \!- \!\dfrac{1}{{\left| {{\omega _k}} \right|}}\!\!\left[\!{1 \!+\! \dfrac{1}{{{\varepsilon }/{{\left| {{\omega _k}} \right|}} \!+\! \sigma _k^2}}\left( {{I_i} \!-\! {\mu _k}} \right)({I_j}\! - \!{\mu _k})} \right]} \!\!\right\}} .$

$\delta $为克罗内克符号函数, ${\mu _k}$和${\sigma _k}$为k所在窗口的像素大小均值及方差, 通过求解获取全局最优的$\alpha $值. 按照上述图像分割方法, 将初始标记的图像作为输入, 便可得到精细化分割的结果.

本文实验选用Stanford大学相机阵列拍摄的室内场景数据集, 场景由盆栽、CD盒、储物瓶和海报组成, 盆栽作为场景的前景目标, CD和海报在多视点均被前景目标部分遮挡. 数据集由105个视点图像组成, 视点排列为5行21列, 单视点图像分辨率为515 × 650.
实验一 针对前景盆栽目标进行重聚焦重建, 分别采用传统聚焦度判别算法和本文算法对重建图像聚焦区域进行标记. 并以标记图像为基础输入信息, 对其进行精细化处理, 实现前景目标的分割.
图4 (a)和图4 (b)中白色区域表示聚焦区域, 黑色区域为离焦区域, 保持原色的区域为不确定区域. 可以看出, 采用传统像素级聚焦度判别算法时, 由于重聚焦过程离焦物体的边缘和纹理信息对聚焦度判别形成干扰, 聚焦度评价误判严重, 如场景中CD盒边缘、画报边缘和储物瓶印刷图案等区域均出现误判，如图4 (a)示. 以此结果为基础输入精细化处理过程, 造成聚焦和离焦目标无法有效区分, 精细化处理过程中无法实现前景目标的分割，如图4 (c)所示. 采用本文方法能够有效克服背景目标边缘和纹理信息等造成的误判问题, 聚焦度判决误差小，如图4 (d)所示. 虽然部分前景目标被归属为不确定区域, 但是可以通过精细化处理后得到较好的扩充, 最终实现前景目标的分割.
图 4 传统方法与本文方法的聚焦度判别结果对比　(a)传统方法判别标记结果; (b)本文方法的判别标记结果; (c) 传统方法聚焦区域提取结果; (d)本文方法聚焦区域提取结果
Figure4. The comparison of focusing evaluation between traditional method and our method: (a) Evaluation mark results of traditional methods; (b) evaluation mark results of our method; (c) extraction results of focus areas of traditional methods; (d) extraction results of focus areas of our method.

实验二 利用本文提出的重聚焦判决方法, 首先获取场景的前景目标并进行标记, 进而调整聚焦因子将重聚焦平面向后景推移, 并且对前景射线进行筛选剔除, 进而实现后景目标的去遮挡聚焦重建.
场景中盆栽为前景目标, 其对后景CD盒造成一定的遮挡, 图5(a)为参考视点图像, 图5(b)为没有布设盆栽的场景参考视点图像. 利用多视点采集场景的光场信息进行重聚焦成像, 调整聚焦因子使系统重聚焦至CD盒所在物面, 如图5(c)所示, 重聚焦图像中前景目标虽然在一定程度上得到虚化, 但是仍然会叠加到聚焦目标上, 形成虚化伪影, 严重影响图像重建的质量. 如图5(d)若采用本文方法对场景前景目标进行标记和提取, 并在重建过程中剔除目标辐射光线的影响, 则重聚焦结果可以有效消除前景的虚化伪影, 提升重聚焦质量.
图 5 对焦至后景的光场重聚焦图像　(a)参考视点图像; (b)去除前景遮挡物的参考视点图像; (c)对焦至后景的重建图像; (d)去除前景遮挡物的重建图像
Figure5. The light field refocusing image which focus on the background: (a) Reference viewpoint image; (b) reference viewpoint image which have removed foreground occlusion; (c) reconstructed image focusing on the background; (d) reconstructed image removing foreground occlusion.

图像结果的质量评价可以采用峰值信噪比(peak signal to noise ratio, PSNR)和平均结构相似度(mean structural similarity index measure, MSSIM)对实验结果进行定量评价, 其中PSNR值越高, 表明重建结果与原图更为接近, MSSIM范围为0—1, 其值越接近1, 表明重建图像与原始图像更为接近. 可以看出经过本文方法去遮挡重建后的质量相比直接重聚焦重建图像在信噪比和结构相似度方面均有很大改善.

方法	左侧CD盒		右侧CD盒
	PSNR	MSSIM	PSNR	MSSIM
直接重聚焦	11.9368	0.2754	12.6554	0.3003
去遮挡重聚焦	19.0265	0.6443	20.6424	0.6285

表1实验二重聚焦成像结果的质量评价
Table1.Quality evaluation of refocusing imaging results for the second experiment.

针对光场重聚焦图像散焦区域的特征进行分析, 在与传统成像模型离焦模型对比的基础上, 从光场重聚焦的原理出发, 提出重建图像聚焦度判决函数, 并进一步研究了重聚焦图像聚焦区域的精细化分割算法.
理论分析和实验结果表明, 本文将重建图像聚焦度判决回归到去视差图像序列的像素值偏差的评价方法是有效的. 相对于传统的聚焦度判决方法, 本文方法可以有效地克服场景目标边缘和纹理信息在离焦区域的影响, 对光场重聚焦图像的聚焦度判决具有更好的适应性. 同时利用本文方法对场景中前景目标进行标记和筛选, 在场景后景目标重聚焦过程可以有效克服前景虚化叠加在聚焦物上的伪影, 提升了重建质量. 并且本文方法无需复杂的计算过程, 具有较高的效率.