式中,s(λ)为投影表面点针对不同波段的反射系数;a(λ)为环境光的光谱分布函数;eK(λ,PK)为投影机第K个颜色通道的光谱分布函数,假设投影机与摄像机都具有线性的亮度响应(线性化方法将在2.2节介绍),则有
式中wK(λ)为投影机K通道归一化的光谱分布函数.如果摄像机K通道的光谱效率表示为qK(λ),摄像机K通道某个像素获取的能量为
可以将上式整理为
式中
式中，F为环境光的贡献;V为颜色混合矩阵,描述了投影机-摄像机结构中不同通道的相互影响；下标R，G，B分别代表红色、绿色、蓝色通道.1.2 多通道投影系统的颜色模型对于多通道投影系统,式(4)将扩展为
式中
式中wi为某台投影机的一个像素点在显示最终图像时所占的比重.对于某个投影表面点,其接收到的投影亮度主要取决于投影机的能量以及入射角,可以用下式来估计:
式中，ei为投影机每个像素的能量大小;θ为每个投影表面点的法线与入射光线间夹角.对于表面点i,与之对应的某个投影像素的权重就可以通过下式计算得出:
为了保证投影机能量的平滑过渡,算法对计算出的权重蒙版进行平滑处理,避免补偿效果中出现亮度的突变.由此,每个投影像素的输入可以用下式求出:
相关参数的求取方法将在第2节中介绍.2 系统参数的恢复为了对目标图像进行补偿,必须计算出环境光线的强弱、每台投影机的颜色混合矩阵以及每个投影像素的亮度权重.在此之前,还必须求取出投影机与摄像机间的几何映射关系.2.1 几何模型的求取系统使用格雷码结构光来获取物体表面三维模型以及投影机模型[12, 13],同时求出投影机-摄像机的几何映射关系.为了排除环境光线及内部交叉反射的影响,每幅结构光分别投影正反两幅图案,每组图案相减的结果作为一层编码数据.此外,系统引入了RANSAC算子来提高算法的准确性.由此建立的系统三维模型可以用于式(7)来计算投影像素的权重.2.2 摄像机、投影机亮度响应的线性化在第1节的讨论中,投影机与摄像机的亮度响应被假设为线性,这个假设不符合实际的应用情形.系统需要求取投影机与摄像机的亮度响应曲线,通过建立对应于每个通道的查找表来将这些器件的响应线性化.通过Debevec和Malik[14]提出的HDR成像算法可以求取摄像机的亮度响应曲线.获取到亮度响应函数之后,摄像机可以用于计算场景中的相对亮度,以此测量并拟合出投影机每个通道的亮度响应曲线.2.3 颜色参数的求取对于式(4),通过投影一定数量的标定图案即可求出F和V.首先求解环境光照F.当投影机各通道输入值均为0时,摄像机捕获到的图像亮度就是环境光照F,如下式所示：
之后,再投影一幅输入值为(PR,0,0)的图像:
将两式相减并展开可得
使用同样的方法投影另外2幅只含有绿色与蓝色值的图像,可以得出完整的V矩阵.3 实时绘制系统在建立几何与颜色映射关系之后,用户可以通过交互式的平板显示设备(如IPAD等)对投影表面进行实时绘制.系统流程图如图 1所示.系统分为交互端、渲染端两部分.渲染端首先根据几何映射信息生成绘制背景,再将此背景传输给交互端.交互端可以进行背景的选取及绘制操作.在绘制过程中,用户可以设置线条粗细和线条颜色,还可以放大某部分区域进行细节上的绘制.用户在交互端绘制时,用户的动作信息及画笔信息将被传输给渲染端,渲染端根据这些信息更新目标图像,并实时生成补偿图像传输给投影机用于显示.
 |
| 图 1 系统流程图Fig. 1 Flow chart of system |
| 图选项 |
3.1 绘制背景的生成系统提供了摄像机与投影机等多个视角的图像作为绘制背景,用户可以根据实际应用情形选取更适合的视角.摄像机视角图像直接通过摄像机捕获.投影机视角的图像通过已经获取的几何映射关系来求取[15].摄像机与投影机视角生成的图像如图 2所示.用户可以根据实际需要选取合适的角度进行绘制.
 |
| 图 2 摄像机与投影机视角生成的图像Fig. 2 Images generated by camera and projector views |
| 图选项 |
3.2 补偿图像的生成为了保证系统运行的实时性,绘制过程中,交互端与渲染端传输的是用户的动作及画笔信息,渲染端在接收到这些绘制信息后实时更新系统的目标图像.在渲染端,系统首先判断交互端使用的绘制背景,对于使用摄像机视角或者其他投影机视角进行绘制的图像,需要先通过几何映射关系将目标图像映射到当前投影机的视角；然后再根据每台投影机所占目标图像的权重计算对应于每台投影机的目标图像；最后根据反射率及颜色混合信息计算每台投影机的补偿图像.渲染流程图如图 3所示.
 |
| 图 3 渲染流程图Fig. 3 Flow chart of rendering |
| 图选项 |
4 结果及分析系统采用2台投影机(三洋XU1050C)进行投影,通过Apple IPAD进行实时绘制.用于投影的物体为一个带有彩色方格图案的杯子.采用佳能450D相机来捕获图像以计算各项参数.获取几何模型与颜色模型需要耗费大约10 min的时间.系统采用Shader语言设计图形渲染流水线,离线阶段求取出的相关参数全部被保存在显卡内存中,通过一维或者二维寻址的方式实时计算出目标图像.在一个系统配置为Intel 3G*4,GeForce GTX 570,1 280 M memory的计算机上,可以实时地(30帧/s)使用2台画面分辨率为1 024×768的投影机系统进行补偿.图 4所示为450D相机的亮度响应曲线,其中横坐标表示相机光学传感器接收到的相对能量值[14],图 5所示为投影机的亮度响应曲线.
 |
| 图 4 450D相机的亮度响应曲线Fig. 4 Intensity response curves of 450D camera |
| 图选项 |
 |
| 图 5 投影机的亮度响应曲线Fig. 5 Intensity response curves of projector |
| 图选项 |
图 6所示为系统的补偿结果.其中图 6(a)为通过IPAD从相机角度进行绘制的动物图案.图 6(b)为实际的投影效果.鉴于投影表面并非理想的朗伯表面,从不同角度观察时效果会有偏差.系统的相关参数是在相机视角下测量的,所以摄像机位置是系统的最佳观察位置.
 |
| 图 6 系统的补偿结果Fig. 6 Compensation results of system |
| 图选项 |
4.1 补偿准确性相比于传统的光照补偿系统,本文提出的系统采用多台投影机进行补偿.采用多通道投影系统可以在某些情况下更为准确地对目标图像进行补偿,补偿效果对比通过图 7可以看出.其中图 7(a)为目标图像,图 7(b)、图 7(d)为分别使用Fujii与本文算法进行补偿的效果,图 7(c)、图 7(e)分别为这2种效果与目标图像的差值图像,图 7(f)为2幅差值图像的直方图对比,其中浅灰色区域表示图 7(c)中的直方图,黑色区域表示图 7(e)的直方图.
 |
| 图 7 补偿效果对比Fig. 7 Comparison of compensation effects |
| 图选项 |
通过对比可以看出,对于反射率较小的投影表面,使用1台投影机进行补偿时,由于受到投影机亮度的限制,某些部分无法达到目标亮度,也就是通过补偿计算出的投影机输入已经超出投影机的最大值(255),而使用2台投影机进行补偿时,这部分亮度可以被补偿.从图 7中也可以看出,入射角较大的部分无法很好地被补偿,这是因为随着入射角的增大,投影表面能反射回相机的能量随之减少,不足以将图像补偿到目标图像的亮度值.4.2 亮度范围图 8所示为系统亮度范围对比,图 8(b)为对图 8(a)在蓝色通道的亮度范围内进行的分析(只分析黑色框线范围内的图像),其中x，y表示图像坐标,z为归一化亮度,表示目标亮度值与图中最高亮度值的比例.上层的浅色曲面为使用2台投影机时能补偿到的最大蓝色值,下层深色曲面为使用一台投影机时能补偿到的最大蓝色值.可以看出,使用多通道投影可以有效提高系统的亮度范围,从而对更多反射率不同的表面进行补偿.
 |
| 图 8 系统亮度范围对比Fig. 8 Comparison of system intensity range |
| 图选项 |
4.3 延迟分析系统作为实时绘制系统,通过网络连接的绘制段与渲染端间的同步至关重要,由于投影机的响应及网络数据传递等因素,轻微的延迟无法避免,表 1所示为系统中的延迟分析.
表 1 系统中的延迟分析Table 1 Delay analysis in system
| ms | |||
| 系统 | 延迟 | ||
| 最大 | 最小 | 平均 | |
| 投影 | 78 | 0 | 15.6 |
| 绘制 | 106 | 0 | 17.4 |
表选项
投影延迟是系统用的投影机相对于液晶显示器的延迟,将1台电脑同时连接1台液晶显示器与1个投影机,让二者显示相同的时间,拍摄20组图像,记录时间差.绘制延迟通过在IPAD端显示时间,录制图像并查找2个显示端的时间差来记录.系统的平均延迟在一帧左右的时间,人眼很难察觉其差异.5 结 论本文提出了一种基于多通道投影系统的纹理表面实时绘制技术.通过对实验结果的分析,得出如下结论:1) 系统可以在带有纹理、形状不规则表面上投影出目标图案,并可以根据用户的意愿进行实时修改.2) 相对于单台投影系统,有效提高了系统亮度范围,可以对更多反射率不理想的表面进行补偿.3) 合理的渲染及网络连接方式保证了系统的实时运行.未来的工作将着眼于如何针对移动投影系统进行快速的反射率计算,使得这种表面绘制技术可以推广到更多的应用中.
参考文献
| [1] | 杨萍,廖宁放, 宋宏.基于彩色数字相机的光谱反射率重建方法研究[J].光谱学与光谱分析,2009,29(5):1176-1180. Yang P,Liao N F,Song H.Study of approaches to spectral reflectance reconstruction based on digital camera[J].Spectroscopy and Spectral Analysis,2009,29(5):1176-1180(in Chinese). |
| Cited By in Cnki (8) | |
| [2] | 汤一平, 宗明理,吴丽娟.基于双色反射模型的彩色结构光颜色识别的研究[J].计算机学报,2013,36(9):1908-1916. Tang Y P,Zong M L,Wu L J.Research on identification of color structured light based on dichromatic reflection model[J].Chinese Journal of Computers,2013,36(9):1908-1916(in Chinese). |
| Cited By in Cnki (1) | Click to display the text | |
| [3] | Fujii K, Grossberg M D,Nayar S K.A projector-camera system with real-time photometric adaptation for dynamic environments[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Washington,D C:IEEE Computer Society Press,2005,1:814-821. |
| Click to display the text | |
| [4] | Nayar S K, Peri H,Grossberg M D,et al.A projection system with radiometric compensation for screen imperfections[C]//Proceedings of the IEEE International Workshop on Projector-Camera System.Washington,D C:IEEE Computer Society Press,2003. |
| Click to display the text | |
| [5] | Lee M,Park H, Park J.Fast radiometric compensation accomplished by eliminating color mixing between projector and camera[J].IEEE Transactions on Consumer Electronics,2008,54(3):987-991. |
| Click to display the text | |
| [6] | Chen X L, Yang X B,Xiao S J,et al.Color mixing property of a projector-camera system[C]//Proceedings of the 5th ACM/IEEE International Workshop on Projector Camera Systems.New York:ACM Press,2008. |
| Click to display the text | |
| [7] | Wetzstein G, Bimber O.Radiometric compensation through inverse light transport[C]//Proceedings of Pacific Conference on Computer Graphics and Applications.Washington,D C:IEEE Computer Society Press,2007:391-399. |
| Click to display the text | |
| [8] | 王修晖,华炜, 林海,等.面向多投影显示墙的画面校正技术[J].软件学报,2007,18(11):2955-2964. Wang X H,Hua W,Lin H,et al.Screen calibration techniques for multi-projector tiled display wall[J].Journal of Software,2007,18(11):2955-2964(in Chinese). |
| Cited By in Cnki (30) | |
| [9] | 周艳霞,秦开怀, 罗建利.多投影仪自由立体显示的GPU几何及亮度校正技术[J].计算机辅助设计与图形学学报,2011,23(4):561-570. Zhou Y X,Qin K H,Luo J L.GPU-based geometric and photometric corrections for multi-projector autostereoscopic display[J].Journal of Computer-Aided Design & Computer Graphics,2011,23(4):561-570(in Chinese). |
| Cited By in Cnki (3) | |
| [10] | 刘一然,杨旭波. 基于相机的多投影光度补偿系统[J].中国图象图形学报,2011,16(3):342-349. Liu Y R,Yang X B.Camera-based multi-projector radiometric compensation system[J].Journal of Image and Graphics,2011,16(3):342-349(in Chinese). |
| Cited By in Cnki (2) | Click to display the text | |
| [11] | Aliaga D G, Yu H Y,Law A,et al.Fast high-resolution appearance editing using superimposed projections[J].ACM Transactions on Graphics,2012,31(2):13. |
| Click to display the text | |
| [12] | 肖朝,杨红雨, 梁海军,等.多投影显示系统结构光几何校正算法[J].计算机辅助设计与图形学学报,2013,25(6):802-808. Xiao C,Yang H Y,Liang H J,et al.Geometric calibration for multi-projector display system based on structured light[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(6):802-808(in Chinese). |
| Cited By in Cnki (3) | Click to display the text | |
| [13] | 王俊,朱利. 基于图像匹配-点云融合的建筑物立面三维重建[J].计算机学报,2012,35(10):2072-2079. Wang J,Zhu L.3D building facade reconstruction based on image matching-point cloud fusing[J].Chinese Journal of Computers,2012,35(10):2072-2079(in Chinese). |
| Cited By in Cnki (14) | |
| [14] | Debevec P E, Malik J.Recovering high dynamic range radiance maps from photographs[C]//Proceedings of ACM Siggraph.New York:ACM Press,1997:369-378. |
| Click to display the text | |
| [15] | Sen P,Chen B, Garg G,et al.Dual photography[J].ACM Transactions on Graphics,2005,24(3):745-755. |
| Click to display the text |
