, 宋立军2, 王世刚1 1. 吉林大学 通信工程学院，吉林 长春 130022;
2. 吉林工业职业技术学院，吉林省 吉林市 132013
收稿日期：2021-05-24
基金项目：吉林省自然科学基金资助项目(20200201295JC)；国家自然科学基金重点资助项目(61631009)。
作者简介：刘跃(1994-)，男，吉林长春人，吉林大学硕士研究生;
桑爱军(1973-)，女，山东莱州人，吉林大学教授，硕士生导师;
宋立军(1971-)，男，吉林辽源人，吉林工业职业技术学院教授;
王世刚(1962-)，男，吉林长春人，吉林大学教授，博士生导师。
摘要：为了进一步提升运动物体鬼成像视频的质量，根据视频中每帧都具有相关性的特点，提出了一种基于双向预测插值的多维矢量鬼成像视频的实时成像算法.即运用具有能量集中特点的多维矢量Walsh变换，将总数一定的Walsh基图样分成更少的组，使每组的有效基图样翻倍，再分别作用于目标物体，重构后得到数量少但成像质量更好的隔帧图像，再通过双向预测插值得到中间帧.使用该算法作用于像素为64×64的目标物体，可在实时状态下实现运动物体鬼成像的视频.在采样数量和采样时间不变的情况下，可实现高质量重构，得到了品质更好的鬼成像视频.
关键词：运动物体鬼成像多维矢量变换双向预测插值高质量重构
Multi-dimensional Vector Ghost Imaging Video Based on Bidirectional Predictive Interpolation
LIU Yue1, SANG Ai-jun1
, SONG Li-jun2, WANG Shi-gang1 1. College of Telecommunication Engineering, Jilin University, Changchun 130022, China;
2. Jilin Vocational College of Industry and Technology, Jilin 132013, China
Corresponding author: SANG Ai-jun, professor, E-mail: sangaj@jlu.edu.cn.
Abstract: To further improve the quality of moving object ghost image videos, a real-time imaging algorithm based on bidirectional predictive interpolation for multi-dimensional vector ghost image video is proposed according to the correlation characteristics between each frame in the video. That is to say, the multi-dimensional vector Walsh transform with energy concentration is used to divide a certain number of multi-dimensional Walsh basis patterns into fewer groups, doubling the effective basis patterns of each group, and then acting on the target object respectively. After reconstruction, the number of interframe images with better imaging quality is less, and then the intermediate frames are obtained by bidirectional predictive interpolation. Using this algorithm, the ghost image video of moving object can be realized in real time by acting on the object with 64×64 pixels. With the same sampling quantity and sampling time, high-quality reconstruction can be achieved and better quality ghost imaging video can be obtained.
Key words: ghost imaging of moving objectsmulti-dimensional vector transformationbidirectional predictioninterpolationhigh quality reconstruction
计算鬼成像是一种可以在极端环境中成像的方法[1-3]，和传统的光学成像相比，计算鬼成像在方式上的独特之处在于，通过单像素探测器得到桶探测值(光强值)和对应的基图样并进行关联运算，重构出目标物体的图像.在性能上，这种成像方法对光的种类要求低，在可见光波段和不可见光波段都可以实现成像；在成本上，由于对光的空间分辨能力要求低，只需要一个单像素探测器，因此在特定的情况下也可节约成本.这种成像方法在最近的20年有了更进一步的发展，随着单像素相机的问世，2008年Shapiro介绍了空间光调制器和计算鬼成像两种新的鬼成像结构[4]，大大促进了鬼成像的发展速度；文献[5-7]进一步证明了使用热辐射的经典光束用于鬼成像方案的可能性；后来Walsh变换和Hadamard变换应用于鬼成像有效地提高了成像质量[8].经过不断地发展，深度学习的鬼成像[9]进展显著，在确定目标位置[10]方面的应用越来越广泛，鬼成像进一步应用于移动物体的成像也取得了很好的效果[11-14].
综上所述，可以看出运动物体的鬼成像的研究热度越来越高，但成像质量和成像速度等方面还存在问题，因此本文算法通过在基图样总数固定的情况下，把基图样均分成更少的组和目标物体相互作用，得到更清晰的几帧图像，再充分挖掘图像之间的相关性，得到了效果更佳的实时鬼成像视频.
1 理论1.1 多维矢量矩阵假如H上的L1×L2数据排列(hl1l2)L1×L2命名为二维矩阵，记为HL1×L2，由此引出多维矩阵的定义，即H上的L1×L2×…×Ln数据排列为(hl1l2…ln)L1×L2×…×Ln，称为多维矩阵，记为HL1×L2×…×Ln.再将多维矩阵HL1×L2×…×Ln的维数分成两组，可以表示成H(Z1×Z2×…×Zm)×(X1×X2×…×Xv)，记为HZX，其中Z，X为矢量，Z=(Z1，Z2，…，Zm)，X=(X1，X2，…，Xv)，则称多维矩阵H是以维数按照矢量Z，X划分的多维矢量矩阵，又可简称为多维矢量矩阵[15].
多维矢量乘法：设EIL为I×L矩阵，FLJ为L×J矩阵，E=ei1…iml1…lk，F=fl1…lkj1…jn，则多维矢量矩阵E和多维矢量F相乘可得到一个I×J的矩阵D，D=di1…imj1…jn，乘积公式为
 | (1) |
多维矢量矩阵的乘法规则和注意事项(设Q，T，K为多维矢量矩阵，x为常数)：
1) 交换律: 在绝大多数情况下不满足交换律，即QT≠TQ.若Q，T为同阶方阵，在特定条件下有QT=TQ，则称Q，T为可交换矩阵.
2) 消去律: 不满足消去律，如果QT=KT，不能得到Q=K.
3) 结合律: 满足结合律，即Q(TK)=(QT)K.
4) 在多维矢量矩阵乘法中，零矩阵可以由两个非零矩阵的乘积得到.
5) 如果在式(2)中的乘法运算均可执行，则矩阵乘法可满足如下运算定律：
 | (2) |
 | (3) |
 | (4) |
 | (5) |
1.3 四维矢量Walsh变换由多维矢量矩阵的定义和一维、二维Walsh变换原理可以得到四维矢量Walsh变换[16]，其变换核函数可由式(6)表示：
 | (6) |
 | (7) |
2 双向预测插值的多维矢量算法2.1 四维矢量Walsh变换的实际应用本文将四维矢量Walsh矩阵作为测量矩阵与目标物体相互作用得到桶探测值.这一过程也是对目标物体进行四维矢量Walsh矩阵变换的过程，表示为式(8)，其O(N×N)×1是二维物体的四维表示形式，B(N×N)×1代表桶探测值矩阵的四维表示.根据多维矢量乘法规则，对式(8)进行乘法变换，左乘W(N×N)×(N×N)的逆矩阵W(N×N)×(N×N)-1，可得到式(9)，即重构得到目标物体.
 | (8) |
 | (9) |
 | (10) |
 | (11) |
 | (12) |
图 1(Fig. 1)
 | 图 1 变换系数矩阵Fig.1 Transformation coefficient matrix (a)—目标物体；(b)—一维Walsh变换系数矩阵；(c)—四维矢量Walsh变换系数矩阵. |
2.3 双向预测算法和块匹配算法双向预测算法常用于图像编码，块匹配算法在图像处理中也有广泛应用，本文根据重构出的隔帧图像之间的时间和空间上的相关性以及物体的运动特点将这两种算法结合使用.由于双线性插值算法可以充分利用原图中的4个真实存在的像素值来共同决定目标图中的一个像素值，从而更真实地反映了原始图像的信息.首先对图像进行双线性插值，之后用块匹配算法采取全搜索的方式，精确地找出实时重构出的高质量隔帧图像间的运动矢量，再运用双向预测重构出中间帧，为了说明问题以图 2为例.
图 2(Fig. 2)
 | 图 2 图像空间插值和寻找运动矢量例图Fig.2 Example diagram of image interpolation and finding of motion vector |
在图 2中，假设一帧图像的大小为4×4，像素值为1至16，利用块匹配算法在此帧中找到对应于相邻帧中某个固定的大小为2×2的块，如果此帧中像素值为6，7，10，11的像素块为最佳匹配块，这一过程找到的运动矢量精度为1个像素；再利用图像插值算法对此帧图像进行空间线性插值，找到像素值为6，7，10，11的像素块的周围8组2×2像素块分别与相邻帧中固定的块再次进行匹配，找到运动矢量，这一过程运动矢量精度达到1/2像素；再进行一轮这样的操作可将运动矢量精度精确到1/4像素.如果在第一轮操作中找到的运动矢量为(2，2)，在第二轮中像素值为4，5，8，9的像素块为最佳匹配块，则运动矢量为(1.5，2)，第三轮中像素值为3.75，4.75，7.75，8.75的像素块为最佳匹配块，则运动矢量为(1.5，1.75)，得到这个精确度达到1/4像素的运动矢量.再通过插值得到中间帧的过程用式(13)表示，双向预测示意图如图 3所示.
 | (13) |
 | 图 3 双向预测示意图Fig.3 Schematic diagram of bidirectional prediction |
其中：P(x，y)为根据时间相关性经过双向预测插值得到的图像；Pi，Pi+1表示相邻两帧，在本文中Pi和Pi+1分别表示用翻倍的基图样作用于目标物体得到的相邻两个隔帧图像；vx，vy为运动矢量的分量.
2.4 算法的详细步骤基于双向预测插值算法的多维矢量算法详细流程如图 4所示.
图 4(Fig. 4)
 | 图 4 算法流程图Fig.4 Flow chart of the proposed algorithm |
步骤1??通过四维矢量Walsh矩阵和式(10)得到全正基图样，经过Zigzag排序后作用于目标物体，得到隔帧图像；
步骤2??将得到的隔帧图像用双线性插值算法进行空间插值，通过块匹配算法得到1/2像素精度的运动矢量，再通过块匹配算法得到1/4像素精度的运动矢量；
步骤3??根据得到的高精度的运动矢量通过双向预测算法进行时间插值，得到实时图像.
3 算法分析3.1 实验结果本文选用NRSS评价方法来评估实验结果.NRSS是一种在没有参考图像的情况下，根据人的主观感受，以图像清晰度来评价图像品质的方法[18]，数值越小表示成像品质越好，图像清晰度用VNRSS表示.
 | (14) |
图 5为用全正基图样在采样数为1 760的条件下，通过对目标物体的桶探测值进行四维矢量Walsh逆变换，重构得到13帧隔帧图像实验结果，简述为全正基图样隔帧实验结果.图 6为用正负交替基图样在采样数为1 760的条件下，通过对目标物体的桶探测值进行四维矢量Walsh逆变换，重构得到13帧隔帧图像实验结果，简述为正负交替基图样隔帧实验结果.图 7为用全正基图样在采样数为1 760的条件下，通过对目标物体的桶探测值进行四维矢量Walsh逆变换，重构到13帧图像，再经过双向预测插值得到的25帧图像的实验结果，即本文算法，简述为全正基图样预测插值法的实验结果.图 8为用全正基图样在采样数为880的条件下，通过对目标物体的桶探测值进行四维矢量Walsh逆变换，直接重构得到25帧图像的实验结果，简述为全正基图样直接成像法的实验结果.图 9为用正负交替的基图样在采样数为1 760的条件下，通过对目标物体的桶探测值进行四维矢量Walsh逆变换，重构出的13帧图像经过双向预测插值得到25帧图像的实验结果，简述为正负交替基图样预测插值法的实验结果.
图 5(Fig. 5)
 | 图 5 全正基图样隔帧实验结果Fig.5 Experimental results of frame separation for full positive base pattern |
图 6(Fig. 6)
 | 图 6 正负交替基图样隔帧实验结果Fig.6 Experimental results of frame separation of positive and negative alternating base patterns |
图 7(Fig. 7)
 | 图 7 全正基图样预测插值法(本文算法)的实验结果Fig.7 Experimental results of full positive base pattern prediction interpolation method(the proposed algorithm) |
图 8(Fig. 8)
 | 图 8 全正基图样直接成像法的实验结果Fig.8 Experimental results of full positive base pattern imaging |
图 9(Fig. 9)
 | 图 9 正负交替基图样预测插值法的实验结果Fig.9 Experimental results of positive and negative alternating base pattern prediction interpolation method |
图 10为全正基图样预测插值法和全正基图样直接成像法两者之间图像清晰度VNRSS对比曲线，图 11为全正基图样预测插值法和正负交替基图样预测插值法两者之间的图像清晰度VNRSS对比曲线，即在图 10和图 11中，比较了基于双向预测插值的多维矢量鬼成像视频算法和其他算法的VNRSS值的大小.
图 10(Fig. 10)
 | 图 10 全正基图样预测插值法和全正基图样直接成像法的图像清晰度VNRSS对比Fig.10 VNRSS comparison curves of full positive base pattern prediction interpolation and full positive base pattern imaging |
图 11(Fig. 11)
 | 图 11 全正基图样预测插值法和正负交替基图样预测插值法的图像清晰度VNRSS对比Fig.11 VNRSS comparison curves of the full positive base pattern prediction interpolation and the positive and negative alternating base pattern prediction interpolation |
3.2 性能分析由图 5和图 8相互比较可以直观地看出，用全正基图样在采样数为1 760的条件下，对目标物体桶探测值进行基于四维矢量Walsh逆变换，重构得到的图像明显比用全正基图样在采样数为880的条件下，对目标物体桶探测值进行基于四维矢量Walsh逆变换，直接重构得到的图像更清晰.由图 10可知全正基图样预测插值法的实验结果的VNRSS分布在0.50~0.60之间，用全正基图样直接成像法得到的实验结果对应的VNRSS在0.65~0.70之间，由图 11可得用正负交替基图样预测插值法得到的实验结果对应VNRSS在0.60~0.70之间.由图 10和图 11可以看出，运用本文算法得到的数据曲线都位于用其他算法得到的数据曲线的下方，根据NRSS评价标准，所得实验结果支持基于双向预测插值的多维矢量鬼成像视频算法好于全正基图样直接成像算法.又由图 11和表 1可以得出，在实时状态下，由于本文算法选取的全正基图样的有效性高于需要差分操作的正负交替基图样，因此基于双向预测插值的多维矢量鬼成像视频算法也同样优于正负交替基图样的预测插值算法.
表 1(Table 1)
 表 1 各种算法的NRSS评价方法的图像清晰度比较Table 1 Comparison of image sharpness of NRSS evaluation methods of various algorithms
| 表 1 各种算法的NRSS评价方法的图像清晰度比较 Table 1 Comparison of image sharpness of NRSS evaluation methods of various algorithms |
本文算法相较于现行大多数移动物体鬼成像算法最大的创新是将总数一定的有效正基图样少分组，从而更加集中地作用于目标物体, 得到数量稍有减少但质量更高的重构图像，再根据重构图像相邻帧之间的时空强相关性，用块匹配和双向预测插值算法得到运动物体的全部重构图像.因为块匹配和双向预测插值的应用可以大大缩短重构中间帧的时间，从而使本文算法要比总数一定直接均分基图样作用于目标物体和大量增加基图样数量再均分作用于目标物体的两大类现行移动物体鬼成像重构算法，更快速、更简便、更清楚得到物体的实时图像，更加适合在深海、太空、云雾等光源较差的复杂环境下对移动物体快速高质量成像.
4 结语本文提出了基于双向预测插值的多维鬼成像视频算法，该算法根据视频中前后两帧图像之间的时间和空间相关性，用总数固定的基图样重构出数量较少但质量更高的隔帧图像，通过空间插值，用块匹配算法找到精确到1/4像素精度甚至精度更高的运动矢量，再通过双向预测进行时间插值，得到隔帧图像的中间帧，在实时状态下得到很好的成像效果，这是一种比直接均分基图样对目标物体进行重构的成像方法更高效的实时视频成像算法.
参考文献
| [1] | Bai Y, Yang K, Yang W, et al. Noise analysis in correlated imaging, quantum and classical[J]. Optik International Journal for Light and Electron Optics, 2011, 122(20): 1791-1794. DOI:10.1016/j.ijleo.2010.11.006 |
| [2] | Valencia A, Scarcelli G, D'Angelo M, et al. Two-photon imaging with thermal light[J]. Physical Review Letters, 2005, 94(6): 063601. DOI:10.1103/PhysRevLett.94.063601 |
| [3] | Cheng J. Ghost imaging through turbulent atmosphere[J]. Optics Express, 2009, 17(10): 7916-7921. DOI:10.1364/OE.17.007916 |
| [4] | Shapiro J H. Computational ghost imaging[J]. Physical Review A, 2008, 78(6): 061802. DOI:10.1103/PhysRevA.78.061802 |
| [5] | Bennink R S, Bentley S J, Boyd R W. "Two-photon" coincidence imaging with a classical source[J]. Physical Review Letters, 2002, 89(11): 113601. DOI:10.1103/PhysRevLett.89.113601 |
| [6] | Gatti A, Brambilla E, Bache M, et al. Ghost imaging with thermal light: comparing entanglement and classical correlation[J]. Physical Review Letters, 2004, 93(9): 093602. DOI:10.1103/PhysRevLett.93.093602 |
| [7] | Cai Y, Zhu S Y. Ghost imaging with incoherent and partially coherent light radiation[J]. Physical Review E, 2005, 71(5): 056607. DOI:10.1103/PhysRevE.71.056607 |
| [8] | Ma H Y, Sang A J, Zhou C, et al. High-efficiency reconstruction of ghost imaging based on equivalent deformation of 2D Walsh transform[J]. Journal of Optics, 2020, 22(12): 125702. DOI:10.1088/2040-8986/abc95d |
| [9] | Wu H, Wang R Z, Zhao G P, et al. Deep-learning denoising computational ghost imaging[J]. Optics and Lasers in Engineering, 2020, 134: 106183. DOI:10.1016/j.optlaseng.2020.106183 |
| [10] | Yang X, Zhao Y. Distance measurement by computational ghost imaging[J]. Optik International Journal for Light and Electron Optics, 2013, 124(22): 5882-5884. DOI:10.1016/j.ijleo.2013.04.130 |
| [11] | Hardy N D, Shapiro J H. Computational ghost imaging versus imaging laser radar for three-dimensional imaging[J]. Physical Review A, 2013, 87(2): 023820. DOI:10.1103/PhysRevA.87.023820 |
| [12] | Rajabi-Ghaleh S, Olyaeefar B, Kheradmand R, et al. Ultra-fast vivid computational ghost imaging of still and moving objects by sweeping random patterns[J]. Journal of Optics, 2020, 22(9): 095701. DOI:10.1088/2040-8986/aba03d |
| [13] | Sun S, Gu J H, Lin H Z, et al. Gradual ghost imaging of moving objects by tracking based on cross correlation[J]. Optics Letters, 2019, 44(22): 5594-5597. DOI:10.1364/OL.44.005594 |
| [14] | Sun S, Lin H Z, Xu Y K, et al. Tracking and imaging of moving objects with temporal intensity difference correlation[J]. Optics Express, 2019, 27(20): 27851-27861. DOI:10.1364/OE.27.027851 |
| [15] | 桑爱军, 吴杨, 崔海廷, 等. 基于多维矢量矩阵的离散余弦变换快速算法[J]. 光学精密工程, 2013, 21(3): 799-806. (Sang Ai-jun, Wu Yang, Cui Hai-ting, et al. Fast discrete cosine transform algorithm based on multidimensional vector matrix[J]. Optics and Precision Engineering, 2013, 21(3): 799-806.) |
| [16] | 郝丽. 基于多维矢量矩阵的快速Walsh变换算法的研究[D]. 长春: 吉林大学, 2011. (Hao Li. Research on fast Walsh transform algorithm based on multi-dimensional vector matrix[D]. Changchun: Jilin University, 2011. ) |
| [17] | Ma H Y, Sang A J, Zhou C, et al. A Zigzag scanning ordering of four-dimensional Walsh basis for single-pixel imaging[J]. Optics Communications, 2019, 443: 69-75. DOI:10.1016/j.optcom.2019.02.041 |
| [18] | 谢小甫, 周进, 吴钦章. 一种针对图像模糊的无参考质量评价指标[J]. 计算机应用, 2010(4): 921-924. (Xie Xiao-fu, Zhou Jin, Wu Qin-zhang. An unreferenced quality evaluation index for image blur[J]. Computer Applications, 2010(4): 921-924.) |
