全光相机(plenoptic camera)可用于记录光场信息，包括光线的强度、位置及方向，结合辐射反演算法[5]，可求解火焰辐射强度与温度的空间分布。Adelson和Wang[3]于1992年提出了具有主镜头及微透镜阵列结构的全光相机，该装置可以将由物方同一位置射入主镜头入瞳区域内的光线按照一定的间距分开，从而通过单个主镜头采集同一物点多个视角的辐射信息。2005年，Ng等[6]将图像传感器直接安装在微透镜阵列的焦面上，成功实现了全光相机的小型化。由光场信息可获取被摄物体的深度信息，光场成像已广泛应用于机器视觉和计算机图形学领域。但目前全光相机的研究主要集中在不透明物体的空间采样[7]、实体表面的视角变换、重聚焦及生成全景深图像[8-9]等方面。对于半透明介质而言，远处(远离相机)的物点可以穿透近处(靠近相机)的物点而被相机拍摄到[10]，半透明火焰介质的辐射、颗粒散射与吸收等特性使这一过程更加复杂[1]。在反演时，利用全光相机每个像素上单一方向的光线表征其采集的全部光线时精确度低[5]，同一物点不同视角之间的夹角大小及视角数量也影响反演结果[11-12]。因此对燃烧火焰光场采样时，需分析每个像素的采样角度及对物点不同视角的方向采样特性。
基于近轴光学，本文针对火焰半透明介质，系统研究了光场角度采样特性，并提出了参数优化方案。建立了全光相机的逆向光线追迹模型，结合火焰半透明介质的辐射传输特性，提出了像素采样锥形角以及物方采样角度，用以分析光线采样的单方向性和物空间的光线采样特性，进而评价全光相机的光场采样性能。分析了像素、微透镜的位置以及主镜头焦距、微透镜焦距及直径等光学参数对角度采样特性的影响。
1 全光相机的光线追迹 1.1 光场成像原理 光场是空间中所有光线光辐射函数的总体，用来描述光在三维空间中的辐射传输特性，包含光线的方向、位置和强度信息，可利用全光相机进行记录。图 1为全光相机的成像示意图。全光相机的主镜头将物空间的辐射光线汇聚于微透镜面，每个微透镜再将光线按入射方向离散化，并记录为对应该微透镜的子图像(光线经微透镜在CCD面的投影区域)。故全光相机光场采样中每个微透镜记录物空间的位置信息，子图像的像素记录该空间位置特定方向的辐射信息。全光相机的光场信息采样能力受其参数的限制。一定光学参数下，全光相机的光场采样能力可以通过光线追迹分析光场采样特性进行评价。Levoy和Hanrahan[13]提出使用2个平行平面的坐标表征光场，即通过光线入射微透镜阵列和CCD平面的位置坐标进行表征。
 |
| 图 1 全光相机成像示意图 Fig. 1 Schematic of plenoptic camera imaging |
| 图选项 |
为了简化表达，本文中的分析建立在全光相机的子午面(二维平面)上，而数值计算在三维空间进行，通过光线与垂直主镜头光轴各平面的交点表征光线的位置、方向及夹角(立体角，sr)，从而研究光线的角度采样特性。
1.2 逆向光线追迹方法 光线追迹的计算从CCD平面的像素开始，经微透镜、主镜头投向物空间，这与光线的传播方向相反，被称为逆向光线追迹[14]。图 2为全光相机逆向光线追迹示意图。图中：βi, j为像素采样锥形角；ωj为物方采样角度；φi, j为角度分辨率；fU为全光相机的主镜头焦距；fs为微透镜焦距；a为物距；bU为主镜头-微透镜距离；lm为微透镜-CCD距离；D为主镜头入瞳直径；pm为微透镜直径。以主镜头光轴为中心(j=0)的第j个子图像中，以子图像中心像素(i=0)为中心的第i个像素ni, j向微透镜j的中心sj追迹并延长，交主镜头光阑面于点Ui, j。在全光相机中，CCD与主镜头光阑关于微透镜共轭，而微透镜与其物方共轭面关于主镜头共轭，由追迹光线的斜率及成像公式可求得该光线与物方共轭面的交点Mj[15]。完成从像素到微透镜中心光线的追迹后，再从该像素向微透镜边缘追迹。由共轭关系可知，从该像素出射的光线将汇聚于主镜头光阑面上一点，这些光线因入射主镜头的角度不同，折射后会射向物空间内的不同方向，与物方共轭面相交于Mj+和Mj-，从而在物空间形成锥形角。为最大程度利用图像传感器，需尽量减小相邻子图像之间的无效区域，同时避免重叠，即保证相邻的子图像相切，称为F数匹配[6]。通过上述面、点的求解，可以进一步研究全光相机图像像素与物空间的对应关系。
 |
| 图 2 全光相机光线追迹与评价指标示意图 Fig. 2 Schematic of ray tracing and evaluation indices of plenoptic camera |
| 图选项 |
2 角度采样特性的评价 2.1 像素采样锥形角 全光相机的每个像素代表空间中某一位置与方向的辐射信息。将透镜简化为小孔的针孔相机模型[16]，使用单一方向(如图 2所示的折线ni, jsjUi, jMj)表征该像素对应的空间方向，但实际的全光相机采用折射透镜系统，因此图像传感器阵列的每个像素并非仅采集沿单一方向的辐射信息，而是在空间中具有一定立体角的锥形包络面内所有入射光线的集合。该锥形光束经全光相机汇聚于CCD面的像素上，形成了一定大小的立体角，称为像素采样锥形角。全光相机的像素采样锥形角βi, j可表示为
 | (1) |
式中：i和j分别为像素和子图像的位置；Ui, j为追迹光线与主镜头光阑面的交点；Mj+和Mj-分别为向微透镜上、下边缘追迹的光线与物方共轭面的交点；
由近轴光学可知，式(1)中的Mj、Mj+和Mj-由微透镜的尺寸与位置决定，因此像素采样锥形角βi, j也可通过微透镜的位置及尺寸进行计算，计算结果与式(1)相同。
像素采样锥形角可用于表征该像素光线采样的单方向性，即这些光线的方向与该锥体中心线方向的接近程度；锥形角越小，光线采样的单方向性越好，光线方向与中心方向越接近。相比仅考虑单一方向的计算方式，像素采样锥形角βi, j可表征实际光学系统的参数对光线角度采样的影响。
2.2 物方采样角度与角度分辨率 火焰向其外部半球空间辐射光线，然而一个孔径大小有限的全光相机只能采集该物点在一定立体角内的辐射方向与强度分布，该立体角称为物点的物方采样角度。同一子图像内的相邻像素记录了同一空间位置相邻方向的辐射信息，物空间中相邻方向形成的夹角称为角度分辨率，如图 2所示。由同一子图像中的不同像素出发，向微透镜中心追迹后交主镜头光阑面于不同的Ui, j，在物方共轭面交于一点Mj，可得到多条
 | (2) |
 | (3) |
式中：imax和-imax分别为该子图像上、下边界的像素；i+1为i像素远离子图像中心方向相邻的像素；Uimax, j和U-imax, j分别为追迹光线与主镜头光阑面的交点；
物方采样角度可表征全光相机对一定物点的采样是否充分；物方采样角度越大，对该物点辐射角度分布的采样越充分，越有利于火焰温度场的重建。同时由式(2)可见，物方采样角度仅与微透镜位置及大小有关，与子图像中的像素位置无关。
角度分辨率表征全光相机对物空间中给定位置的光场辐射角度分辨能力，以夹角大小进行表征，单位是立体角。角度分辨率越低(夹角越小)，越有利于火焰辐射方向的细致区分，越有利于温度场重建。
全光相机的采样特性可由像素采样锥形角、物方采样角度及角度分辨率进行评价。由模型分析知，对于给定的像素与子图像位置(i, j)，βi, j、ωj和φi, j与全光相机的fU、fs、bU以及pm有关，此外φi, j也与像素尺寸pp有关。
3 光场采样特性分析 3.1 模型验证 模型以CCD的中心为原点(0, 0, 0)，以主镜头光轴(主光轴)为x轴建立右手坐标系。表 1为全光相机模型的基本光学及距离参数，微透镜中心和主镜头中心的坐标分别为(0.000 573, 0, 0)和(0.052 573, 0, 0)。子图像像素数为30×30，微透镜数量为141×141，正交排列，CCD像素数为4 230×4 230。
表 1 全光相机参数 Table 1 Parameters of plenoptic camera
| 参数 | 数值 |
| 主镜头焦距fU/mm | 50 |
| 微透镜焦距fs/μm | 567 |
| 微透镜直径pm/μm | 165 |
| 主镜头-微透镜距离bU/mm | 52 |
| 物距a/mm | 1 300 |
| 微透镜-CCD距离lm/μm | 573 |
| 像素尺寸pp/μm | 5.5 |
表选项
使用MATLAB R2016a编写了光场追迹程序，计算机参数如下：Intel Core i7 6700HQ @2.60 GHz，16.0 GB，Windows 7×64。对于表 1的全光相机参数，光线数为9×107，计算时间为2.1h。为了验证代码的正确性，使用光学仿真软件Zemax和MATLAB按表 1参数对图 3(a)的目标进行成像计算，成像结果与局部放大图分别为图 3(b)和图 3(c)。从图 3可见，计算模型在MATLAB中的成像结果与Zemax仿真结果具有一致性，证明了计算模型的准确性。
 |
| 图 3 图像仿真结果对比 Fig. 3 Comparison of image simulation results |
| 图选项 |
3.2 像素位置对光场采样特性的影响 图 4为像素采样锥形角β随像素位置的分布。图 4(a)为CCD所有像素的像素采样锥形角分布，其原点(y=0, z=0)为CCD中心，主光轴(主透镜光轴)经过该点，红框表示子午面上(z=0)一列像素的锥形角分布，如图 4(b)所示；蓝框表示CCD中心部分边长为150像素(5个子图像)的区域中β的分布，如图 4(c)所示；绿框表示CCD边缘部分β随像素位置的分布，如图 4(d)所示。由图 4(a)、(b)可见，像素采样锥形角最大值出现在CCD中心，锥形角分布关于主光轴旋转对称，总体趋势为从中心点向CCD边缘递减；而从图 4(c)、(d)可知，每个子图像中的角度分布独立于总体趋势，子图像(中心子图像除外)中锥形角向远离主光轴的方向增加，中心子图像的中心像素对应锥形角为最大值，向边缘递减。该变化趋势与子图像及像素的相对位置有关。在子图像中心远离主光轴时，主光阑在视线方向的投影面积减小，因此辐射光线射入该微透镜的总量减小，经微透镜折射后入射到像素的角度也随之减小，因此在总体上锥形角向边缘递减。CCD边缘区域的锥形角(最小值)相比其中心(最大值)降低约10%，变化幅度较小，可以认为CCD的所有像素都可有效地采集光线方向信息。
 |
| 图 4 像素采样锥形角随像素位置的分布 Fig. 4 Distribution of cone angle of a single pixel with positions of pixels |
| 图选项 |
图 5为物方采样角度ω随子图像位置的分布。图中：pitch为子图像尺寸，等于微透镜直径。图 5(b)为图 5(a)中红框表示的经过主光轴的一列子图像上(z=0)物方采样角度的分布。由图 5可见，ω的分布也是以主光轴为对称轴的旋转对称分布，随微透镜与主光轴的距离平滑递减；边缘微透镜对应的物方采样角度(最小值)相比其中心(最大值)降低约10%。这主要是由于微透镜在主光阑中心点视线方向上的投影面积随微透镜的远离而减小。
 |
| 图 5 物方采样角度随子图像位置的分布 Fig. 5 Distribution of sampling angle of object side with positions of sub-images |
| 图选项 |
图 6为角度分辨率φ随像素位置的分布。图 6(b)为图 6(a)中红框指示子午面上(z=0)一列像素上角度分辨率的分布。从图 6可见，其总体分布与图 4(a)像素采样锥形角的分布相似，最大值出现于主光轴处，旋转对称并向远离主光轴的方向降低。从图 6(b)可见，在子图像中，该值向远离主光轴的方向增加。角度分辨率的大小既与微透镜的大小、位置有关，也与子图像中的像素位置、尺寸有关。此外该CCD边缘区域的角度分辨率(最小值)相比其中心(最大值)降低约12%。
 |
| 图 6 角度分辨率随像素位置的分布 Fig. 6 Distribution of angular resolution with positions of pixels |
| 图选项 |
由上述分析可知，像素采样锥形角、物方采样角度和角度分辨率关于主光轴具有旋转对称性，最大值位于主光轴处，向四周递减。因此，中心子图像的中心像素(即i=0，j=0时)有像素采样锥形角、物方采样角度及角度分辨率的最大值。这表明全光相机中心像素的采样单方向性较低，角度分辨率较低，可以表征CCD上采样特性的下限。
此外，CCD不同位置的采样性能变化范围较小(10%~12%)，该全光相机的光场采样性能较稳定，对视场中不同位点的采样情况较均匀。因此，全光相机图像传感器的所有区域都可用于火焰辐射的光场采样。上述计算结果也可用于修正光场采样的结果，有利于提高光场采样的方向精度。
3.3 光学参数对光场采样特性的影响 选定中心像素有利于简化参数变化时全光相机的采样性能分析，下文研究相机光学参数按表 2变化时，全光相机采样特性的变化。
表 2 全光相机参数变化范围 Table 2 Variation range of parameters of plenoptic camera
| 参数 | 数值 |
| 主镜头焦距fU/mm | 20~51.5 |
| 主镜头-微透镜距离bU/mm | 50.5~200 |
| 微透镜焦距fs/μm | 50~1 500 |
| 微透镜直径pm/μm | 50~500 |
表选项
由式(3)可知，φ取决于物方采样角度ω和像素尺寸pp，在pp不变时，φ与ω变化趋势相同，而pp的选择需要折中考虑CCD信噪比、动态范围等性能，超出本文范围，因此不研究角度分辨率的变化特性。下文以β和ω代表中心像素的β(i=0，j=0)和ω(i=0，j=0)。除表 2以外，全光相机还有多个参数(见1.2节)，这些参数受相机的共轭关系及F数匹配关系限制，若改变表 2中任意1个相机参数并固定其他3个参数时，这些参数也会随之改变，影响其制造难度及成像质量，因此需研究其中主镜头入瞳直径D及物距a的变化。
图 7为性能指标(β和ω)和光学参数(D和a)随主镜头焦距fU的变化。随着fU的增大，像素采样锥形角β不变，物方采样角度ω逐渐减小，主镜头入瞳直径D不变，而物距a在fU小于45 mm时缓慢增加，大于45 mm时明显上升。其中β不随fU的变化而变化，这是由于选定中心像素(i=0，j=0)表征采样性能时，该值与fU不相关。因此，增大fU导致物方采样角度减小，工作距离显著增大，而光线采样的单方向性保持不变。
 |
| 图 7 性能指标和光学参数随主镜头焦距的变化 Fig. 7 Variation of performance indices and optical parameters with focal lengths of main lens |
| 图选项 |
图 8为性能指标(β和ω)和光学参数(D和a)随主镜头-微透镜距离bU的变化。随着bU的增加，像素采样锥形角β减小，物方采样角度ω显著上升，而主镜头入瞳直径D线性增加，物距a在bU小于65 mm时显著降低，大于65 mm时下降幅度趋缓。因此，增加bU有助于提高光线采样的单方向性，物方采样更加充分。但D的大幅增加，导致主镜头分辨率降低，图像边缘变暗，制造难度和成本提高。此外物距a减小，可能无法满足工作环境的要求。
 |
| 图 8 性能指标和光学参数随主镜头-微透镜距离的变化 Fig. 8 Variation of performance indices and optical parameters with main-micro lens distances |
| 图选项 |
图 9为性能指标(β和ω)和光学参数(D和a)随微透镜焦距fs的变化。随着fs增加，像素采样锥形角β保持不变，物方采样角度ω和主镜头入瞳直径D以相同的趋势变化，在fs小于400 μm时显著降低，大于400 μm时下降趋缓，而物距a保持恒定。因此增加fs，相机的进光量和对物点的方向采样性能都会显著降低，但D适当减小可以提高图像清晰度，同时增大成像的景深。
 |
| 图 9 性能指标和光学参数随微透镜焦距的变化 Fig. 9 Variation of performance indices and optical parameters with focal lengths of micro lens |
| 图选项 |
图 10为性能指标(β和ω)和光学参数(D和a)随微透镜直径pm的变化。随着pm增加，像素采样锥形角β、主镜头入瞳直径D均大幅上升，物方采样角度ω则缓慢线性增加，而物距a保持不变。因此，增大pm可以牺牲采样的单方向性换取更充分的物方采样能力，同时D的增加也会提高制造难度。
 |
| 图 10 性能指标和光学参数随微透镜直径的变化 Fig. 10 Variation of performance indices and optical parameters with diameters of micro lens |
| 图选项 |
将以上结果汇总可得表 3，该表说明独立变化的相机参数与评价指标之间的关系，其中，“+”指2个变量正相关，“-”指2个变量成负相关，“NA”表示在自变量变化时因变量保持不变。
表 3 性能指标和光学参数的变化 Table 3 Variation of performance indices and optical parameters
| 参数 | fU | bU | fs | pm |
| β | NA | - | NA | + |
| ω | - | + | - | + |
| D | NA | + | - | + |
| a | + | - | NA | NA |
表选项
表 3可指导全光相机的参数选择。重建火焰温度场要求光场采样有更高的光线采样单方向性，更加充分的物点辐射角度分布采样，较低的制造成本与技术难度。因此，性能指标的优化目标为：在保持较低的像素采样锥形角β、增大物方采样角度ω的同时，控制较低的主镜头入瞳直径D(即β-, ω+, D-)。
由表 3可知，主镜头焦距fU仅与ω负相关；在改变主镜头-微透镜距离bU时，β的变化和其余两者方向相反；微透镜焦距fs变化会同时同方向影响ω和D；而在降低微透镜直径pm时，会同时减小3个指标。因此，减小pm可以减小β和D，从而提高采样的单方向性，同时降低加工难度和系统成本。而适当降低fU可以增大物方采样角度，同时不影响β和D，小幅减小的物距a可以通过主镜头的对焦功能实现匹配。所以，应选用较小的微透镜直径pm以及较小的主镜头焦距fU，从而满足对火焰辐射光场采样的要求。
4 结论 1) 本文建立了全光相机的逆向光线追迹模型，提出了像素采样锥形角、物方采样角度等采样特性的评价指标，用以评价全光相机对半透明火焰成像时的光场角度采样特性。
2) 系统分析了像素、微透镜位置、主镜头焦距、微透镜焦距、微透镜直径以及主镜头-微透镜距离对采样性能的影响。
3) 角度采样特性的变化关于主光轴旋转对称，在一定参数下其变化幅度较小，因此传感器中心像素的采样特性可代表该相机的采样性能，全光相机的所有像素都可用于半透明介质的光场采样。适当减小微透镜直径和主镜头焦距既可以增强光场的方向采样性能，又不会增加制造难度。
研究结果为全光相机用于火焰辐射光场采样及温度反演时，优化光学参数提供了基础。下一步将研究全光相机的参数对角度分辨率的影响，根据本文研究进一步优化半透明介质的光场采样性能。
参考文献
| [1] | 周怀春, 娄新生, 肖教芳, 等. 炉膛火焰温度场图象处理试验研究[J].中国电机工程学报, 1995, 15(5): 295–300. ZHOU H C, LOU X S, XIAO J F, et al. Experimental study on image processing of flame temperature distribution in a pilot-scale furnace[J].Proceedings of the CSEE, 1995, 15(5): 295–300.(in Chinese) |
| [2] | HOSSAIN M M, LU G, SUN D, et al. Three-dimensional reconstruction of flame temperature and emissivity distribution using optical tomographic and two-colour pyrometric techniques[J].Measurement Science and Technology, 2013, 24(7): 074010.DOI:10.1088/0957-0233/24/7/074010 |
| [3] | ADELSON E H, WANG J Y A. Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99–106.DOI:10.1109/34.121783 |
| [4] | BRISLEY P M, LU G, YAN Y, et al. Three dimensional temperature measurement of combustion flames using a single monochromatic CCD camera[J].IEEE Transactions on Instrumentation and Measurement, 2005, 54(4): 1417–1421.DOI:10.1109/TIM.2005.851074 |
| [5] | SUN J, XU C, ZHANG B, et al. Three-dimensional temperature field measurement of flame using a single light field camera[J].Optics Express, 2016, 24(2): 1118–1132.DOI:10.1364/OE.24.001118 |
| [6] | NG R, LEVOY M, BREDIF M, et al. Light field photography with a hand-held plenoptic camera[J].Computer Science Technical Report, 2005, 2(11): 1–11. |
| [7] | ZHANG C, CHEN T.View-dependent non-uniform sampling for image-based rendering[C]//Proceedings of the 2004 International Conference on Image Processing.Piscataway, NJ:IEEE Press, 2004, 4:2471-2474.http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1421603 |
| [8] | GEORGIEV T, ZHENG K C, CURLESS B, et al.Spatio-angular resolution tradeoff in integral photography[C]//Proceedings of the Eurographics Symposium on Rendering Techniques, 2006:263-272.http://dx.doi.org/10.2312/EGWR/EGSR06/263-272 |
| [9] | SUREN J, ADITHYA P, SRIRAM S, et al.Depth fields:Extending light field techniques to time-of-flight imaging[C]//Proceedings of the International Conference on 3D Vision.Piscataway, NJ:IEEE Press, 2015:1-9.http://arxiv.org/abs/1509.00816v1 |
| [10] | JI Y, YE J, YU J.Reconstructing gas flows using light-path approximation[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ:IEEE Press, 2013:2507-2514.http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6619168 |
| [11] | YANG Y, QIU T, LU G, et al. Recent advances in flame tomography[J].Chinese Journal of Chemical Engineering, 2012, 20(2): 389–399.DOI:10.1016/S1004-9541(12)60402-9 |
| [12] | 孙俊, 许传龙, 张彪, 等. 基于单光场相机的火焰三维温度场测量[J].工程热物理学报, 2016, 37(3): 527–532. SUN J, XU C L, ZHANG B, et al. Measurement of three-dimensional temperature field of flame based on a single light field camera[J].Journal of Engineering Thermophysics, 2016, 37(3): 527–532.(in Chinese) |
| [13] | LEVOY M, HANRAHAN P.Light field rendering[C]//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques.New York:ACM, 1996:31-42. |
| [14] | HAHNE C, AGGOUN A, HAXHA S, et al. Light field geometry of a standard plenoptic camera[J].Optics Express, 2014, 22(22): 26659–26673.DOI:10.1364/OE.22.026659 |
| [15] | HECHT E. Optics[M].4th edBoston: Addison Wesley, 2001: 93-95. |
| [16] | RICOLFE-VIALA C, SANCHEZ-SALMERON A J. Using the camera pin-hole model restrictions to calibrate the lens distortion model[J].Optics and Laser Technology, 2011, 43(6): 996–1005.DOI:10.1016/j.optlastec.2011.01.006 |
