基于字典学习的稠密光场重建算法

全文HTML

--> --> -->

1.引　言

稠密光场对场景光线的离散化程度高, 视差连续性好, 获取的场景信息更加丰富, 但是光场的稠密程度与相机阵列的规模成正比, 限制了光场成像技术在工程中的应用, 因此有必要设计新的光场稠密重建算法, 提高光场的角度分辨率, 在相机阵列规模有限的条件下, 获取满足应用条件的多角度光场.
目前, 光场稠密重建主要包括基于压缩感知^[1,2]、视角合成^[3-5]和深度学习^[6]的稠密重建方案. 基于压缩感知的稀疏光场重建方案, 提供了一种比奈奎斯特采样定理更有效的稀疏信号采集框架^[7], 减少了光场采集所需的相机数量, 但是该方案由于编码掩膜对光线的阻碍作用损失了部分光信号的强度信息, 导致重建的图像信噪比较低, 光场质量下降. 基于视角合成的方案包括基于模型的视角合成(mode-based rendering, MBR)和基于图像的视角合成(image-based rendering, IBR)方法. 由于复杂场景建模困难, MBR仅适应于简单场景. 对于IBR, 由于存在平移、遮挡等因素, 使得部分场景信息丢失, 深度图求取不准确, 从而产生“空洞”^[8]和裂纹^[9,10], 由于无法获取被遮挡目标的颜色信息使得合成图像产生失真. 基于深度学习的稠密重建方法利用光度立体技术进行虚拟视角表面重建取得了很好的效果, 但是需要大规模稠密采样的数据集, 网络泛化能力差, 而且该技术在光场稠密重建中应用困难^[6]. 虽然现有方法都能完成光场稠密重建, 但是由于自身算法限制均不能很好地适用实际应用的需求.
鉴于此, 本文从压缩感知的基本原理出发, 分析光场图像数据间的冗余特性^[11], 自然场景在本质上存在的稀疏结构特性, 充分利用光场全局与局部的空间-角度约束关系, 提出一种基于过完备字典学习的稀疏光场稠密重建算法. 将本文算法应用到各种场景的稠密重建中, 结果表明算法能够有效地对虚拟视角进行恢复, 提高光场角度分辨率.

2.基本原理

2.1.稀疏采样光场的稠密重建原理

-->

2.1.稀疏采样光场的稠密重建原理

根据光场成像的基本原理可知空间场景光场是对目标光辐射的方向、强度和光谱等信息的参数化表示, 反映了光辐射在三维空间中的位置分布与传播方向之间的映射关系, 是三维空间中光线集合的完备表示^[12,13]. 特定场景光场信号具有完备性, 在空间和角度上又具有冗余性, 根据压缩感知的基本原理^[14], 可以将其投影到一个低维稀疏空间中, 稀疏编码的低维数据能更好地反映原始数据的本质特征. 同一场景目标多视角信息在空间和角度信息的关联性和冗余性, 表现为稀疏表示域中各向量的稀疏性、非零元素位置及其值之间的相互约束关系. 这样, 就可以将图像及其字典学习和稀疏编码过程限制在比待恢复的光场维度低得多的空间中^[15], 再通过域间变换的稀疏系数重构就可以合成虚拟视角图像^[16].
算法流程如图1所示. 由线性相机阵列获取特定场景的稀疏4D光场后, 通过固定窗口逐像素遍历光场图像的方法将其在所有通道上分解为互有重叠的图像碎片, 这些图像碎片按顺序构成初始二维观测值矩阵, 以此训练光场字典并进行稀疏编码. 经光场字典编码的观测值各元素之间具有稀疏性约束关系, 在该约束关系下计算虚拟角度稀疏表示矩阵, 再通过稀疏逆变换就可以构建出虚拟角度图像, 完成光场稠密重建.

图 1 算法架构图
Figure1. Algorithm workflow.

2

2.2.稠密光场重建算法

-->

2.2.稠密光场重建算法

假设${{I}} = \{ {{{I}}_i}|{{{I}}_i} \in {\mathbb{R}^{m \times n}}, i \in {\mathbb{R}^{p \times q}}\} $

为获取的光场信号, 基于学习的字典构造方法可以通过对光场多维信号进行特征筛选, 构造出更加适合表示特定场景光场信号的基矩阵, 光场信号可以稀疏表示为

$ \begin{split} & {{I = D A}}, \\ & {{D}} = \{ {{{d}}_j}|{{{d}}_j} \in {\mathbb{R}^{m \times 1}},j \in {\mathbb{R}^\tau }\}, \\ & {{A}} = \{ {{{\alpha }}_i}|{{{\alpha }}_i} \in {\mathbb{R}^{\tau \times n}},i \in {\mathbb{R}^{p \times q}}\}, \end{split} $

其中, A为稀疏表示系数矩阵, D为基矩阵.
光场字典训练与稀疏编码问题是光场图像稀疏逼近的逆问题, 将光场的线性稀疏性约束转化到约束函数中, 则光场的稀疏表示模型可以表示为

$ ({{D}},{{ A}}) = \mathop {\arg \min }\limits_{{{D}},{{A}}} {\left\| {{{I}} - {{DA}}} \right\|_2} + \lambda {\left\| {{{{\alpha }}_k}} \right\|_1}. $

这是一个针对D和A的联合优化问题. 但是(2)式是非凸的, 难以在D与A均未知的情况下求得最优解. 但是, 如果其中一个变量一旦确定, 问题就转化为一个凸优化问题. 因此, 可以通过对数据预处理, 初始化一个适合条件的字典, 然后通过逐步迭代求得最优基元素和稀疏编码矩阵.
不同角度的光场图像之间形成了严格的全局约束, 邻近的互有重叠的光场碎片采样之间形成了强有力的局部约束, 这些空间-角度约束关系都经由过完备字典线性映射到了图像的稀疏表示域. 光场图像碎片化观测值可以表示为

$\begin{split} {{{I}}'} =\; & \{ {{I}}_i'|{{I}}_i' = {{\omega I}},{{I}}_i' \in {\mathbb{R}^{(m - {p_x} + { step}) \times (n - {p_y} + { step})}},\\ & i \in {\mathbb{R}^{p \times q}}\},\\[-10pt]\end{split} $

其中, $\left( {{p_x}, {p_y}} \right)$

表示窗口大小; ${{\omega }}$

为图像碎片提取算子; $step$

为图像分解步长, 表示分解后的图像序列${{I}}'$

的重叠程度, 在进行图像碎片提取时, 通常将步长设置为1, 以计算时间和硬件开销为代价增加待选择光场特征样本数量^[17]. 此时, 光场的字典训练与稀疏编码模型表示为

$ ({{D}},{{A}}) = \mathop {\arg \min }\limits_{{{D}},{{A}}} {\left\| {{{I}} - {{{\omega }}^{ - 1}}{{DA}}} \right\|_2} + \lambda {\left\| {{{{\alpha }}_k}} \right\|_1}. $

通过上述学习的方法可以构造出对特定场景特征自适应的字典, 字典中的低维光场原子能够稀疏地表示自然光场的基础元素结构, 其线性组合能够高效地表达复杂的光照阴影、纹理、遮挡等自然场景信息^[18,19], 并且能够对光场的局部空间-角度一致性进行稀疏表达, 因此以探测器的一个像素为中心的2D局部图像就可以对4D光场块进行重建, 并最终融合成4D光场^[18]. 光场字典如图2所示, 光场原子在视觉上表现为光场中包含的基本特征.

图 2 光场过完备字典
Figure2. Light field overcomplete dictionary.

在低维稀疏变换空间中将高维信号重建问题转换为低维特征向量的表达问题^[20], 可以更加简洁、有效地恢复虚拟视角. 假设光场的虚拟角度图像为I_v, 相应的稀疏域中系数矩阵为$ {{{A}}_{\rm{v}}} $

, 该角度下图像的构建问题可以转化为${\ell _1}$

-范数优化求解问题, 即:

$ \begin{split} & \;\quad \quad \quad \min \quad \sum \left| {{r_i}} \right|,\\ & {\rm{subject}}\;{\rm{to}}\quad {\left\| {{{{I}}_{\rm{v}}} - {{D}}{{{A}}_{\rm{v}}}} \right\|_2} \leqslant \varepsilon, \end{split} $

其中, ${r_i}, i = 1, 2, \cdots, (p \times q)$

为I_v与相机阵列获取的光场各角度图像的残差. 该罚函数模型即保证了重建的变换域表示矩阵的稀疏特性, 又能对原子的线性组合进行有效的权重赋值. 对上述模型进行求解, 就可以获取未探测视角图像信息, 提高系统在光场探测时的角度分辨率.
假设H为Hilbert空间, ${{D}} \subset {\rm H}$

为训练得到的字典, (5)式就是要在空间中寻找一组具有一定稀疏结构的向量$\left\{ {{{{\alpha }}_{{\rm{v}}i}}} \right\}$

, 使得损失函数$\sum \left| {{r_i}} \right|$

最小时, 该向量组能够在D上逼近虚拟视角图像. 则虚拟视角图像的稀疏系数矩阵的求解问题就转化为图像在D上的线性表出问题. 在稀疏变换域中, 二维插值方法能够快速地对待求稀疏编码进行恢复, 而且能够在有效保持各分量的稀疏性、非零元素位置及其值之间的相互约束关系的前提下, 对基向量的权重进行合理地赋值. 计算得到稀疏编码后, 通过稀疏反变换并对图像碎片进行融合, 就能够构建出虚拟视角图像. 设Γ为双线性插值算子, ${{{\omega }}^{ - 1}}$

为图像融合算子, 也即图像碎片提取的逆过程, 则构建的虚拟角度图像可以表示为

$ {{{I}}_{\rm{v}}} \approx {{{\omega }}^{ - 1}}{{D}}{{{A}}_{\rm{v}}}{\rm{ = }}{{{\omega }}^{ - 1}}{{D}}\left( {\varGamma {{A}}} \right). $

Sparse parameter (K), Redundancy parameter (N)	MSE	PSNR/dB	SSIM	Time/s
K = 16, N = 256	54.4215	30.7731	0.8860	1266.08
K = 34, N = 1024	49.0044	31.2285	0.8865	14306.55

Sense	Table	Bicycle	town	Boardgames	rosemary	Vinyl	bicycle*
MSE	21.2124	54.4215	25.8005	53.9244	18.8950	22.4756	49.0044
PSNR/dB	34.8649	30.7731	34.0145	30.8129	35.3673	34.6137	31.2285
SSIM	0.9323	0.8860	0.9474	0.9341	0.9699	0.9421	0.8865
* 稀疏度K = 34, 冗余度N = 1024.

4.讨　论

相机阵列获取的光场空间分辨率较高, 使得待训练数据规模极其庞大, 传统的字典训练算法变得难以实现^[22], 因此, 本文算法实现时采用批量在线字典学习方法^[23], 以损失一定重构精度为代价提高算法运算效率.
实验结果表明DIBR重建方法有一定的局限性, 由于遮挡、平移等因素的存在, 在深度图的求取过程中, 被遮挡目标的深度信息无法获取, 使得视角合成过程中会产生“空洞”; 又由于像素渗透, 在边缘处往往会产生裂缝, 使合成图像质量大幅下降. 而基于深度学习的方法中, 自遮挡目标由于遮挡物与被遮挡物特征相似度极高, 使得算法无法对目标进行有效区分从而导致局部重建失败^[24].
本文方法应用于稠密光场重建取得了较好的结果. 重建的虚拟角度光场图像中的纹理信息清晰, 表明有限的四维光场数据也存在较高的冗余性, 可以在一定场景范围内构建近似完备的光场数据集, 通过训练得到的小规模全局光场字典包含了该场景中几乎全部的特征, 稀疏编码仅通过几个训练得到光场原子的线性组合就能够恢复光场中的复杂结构信息, 这正是利用了自然场景光场在结构上存在稀疏性, 在特征上存在冗余性; 重建图像中的遮挡、视差以及复杂的光照阴影变化信息的恢复, 说明四维光场的空间-角度约束关系得到保持, 碎片化降维构建光场训练集的方法对于特征选择和变换域数据间相关性保持是有利的.
本文方法目前仅适应于对线性相机阵列获取的光场进行稠密重建, 而实际应用中相机阵列的排布方式是多样的, 这就使得变换域编码构建模型的构建变得困难. 后续研究将围绕非线性相机阵列光场稠密重建展开.

5.结　论

本文基于稀疏表示理论, 由线性相机阵列采集场景的稀疏光场, 通过建立有效的光场字典学习和稀疏编码模型, 对稀疏光场进行字典训练和稀疏表征. 采用变换域稀疏编码插值方法构建虚拟角度稀疏表征矩阵, 再由稀疏逆变换重建图像碎片后, 经图像融合实现虚拟角度图像重构, 进而达到稀疏光场稠密重建的目的. 实验结果表明, 本文采用的稀疏编码构建方法能够有效地对虚拟角度图像进行恢复. 从重建图像中能够观察到明显的视差; 遮挡、复杂光照阴影变化信息也得到有效的恢复. 本文方法相比于传统的DIBR视角恢复方法, 不需要场景深度信息的复杂求取和填充过程, 避免了失真像素的产生; 相比于基于深度学习的方法, 本文方法能够对局部自遮挡区域中具有相似特征的目标进行有效的区分、重建. 同时本文提出的方法避免了复杂的场景建模与大规模的数据集采集过程, 具有较高的重建效率和可行性.

本站小编 Free考研考试/2021-12-29

English Abstract

Dense light field reconstruction algorithm based on dictionary learning

Corresponding author:Liu Bin, liubin414605032@163.com

全文HTML

2.1.稀疏采样光场的稠密重建原理

2.2.稠密光场重建算法

相关话题/图像 信息 实验 空间 数据

领限时大额优惠券,享本站正版考研考试资料!

纳米流体液滴内的光驱流动实验及其解析解

涡轮导向器对旋转爆轰波传播特性影响的实验研究

一种结合图像复原技术的自适应光学系统控制方法

东方超环上低杂波驱动等离子体环向旋转实验研究

基于新的五维多环多翼超混沌系统的图像加密算法

高效外腔倍频产生426 nm激光的实验研究

腔光子-自旋波量子耦合系统中各向异性奇异点的实验研究

粉末颗粒气力加注特性实验研究

上海光源硬X射线相干衍射成像实验方法初探

基于多模光纤散斑的压缩感知在光学图像加密中的应用