随着航空航天技术的进一步发展，各国向太空发射的卫星数量不断增长，对空间资源的抢夺越来越激烈。然而，由于卫星自身的制造问题以及太空环境的影响，每年都有不同数量的卫星发生故障，被迫停用。这些失效的卫星不仅占用太空资源，对于在轨正常运行的卫星也会产生威胁。因此，以对于地球轨道上故障航天器的维护、对报废航天器和太空垃圾的清理为目的非合作目标在轨服务逐渐成为了各航天大国的热门研究方向。对于非合作目标而言，由于目标上未预先安装合作标志与特征块，目标星的运动状态又未知，同时跟踪星与目标星之间无法进行交流。其余的航天器难以通过与其建立信息传输或通过感知识别装置等方式来获取目标的位置或姿态等状态信息。因此，对非合作目标进行三维重建是解决在轨服务的一个关键问题，不仅具有重要的理论研究价值，而且具有重要的工程实践意义。
运动恢复结构(Structure From Motion，SFM)方法是利用多幅图像进行三维重建的一个主要方法，国内外****对此进行了大量的研究。Nistér[1-3]提出了一种基于SFM三维重建的方法，并实现了三维自动重建系统。光束平差法(Bundle Adjustment，BA)[4]是SFM方法的一个重要优化方法, 利用LM(Levenberg-Marquardt)算法，使得重投影误差的函数最小化，获得稀疏点云。考虑到稀疏点云计算量大、不适用于大规模重建这一缺点，有****利用稀疏性这一特点，提出了稀疏光束平差法(SBA)[5]，降低计算规模与复杂度。在稀疏点云重建的基础上，利用CMVS/PMVS(Clustering views Multi-View Stereo/Patch-based Multi-View Stereo)算法[6]，得到稠密点云，最终的三维重建效果良好。在国内，唐永鹤[7]对于空间非合作目标三维重建中涉及到的关键技术——空间摄像机的快速标定、快速图像匹配以及快速精确的基本矩阵计算进行了研究；张浩鹏等[8]将序列图像的成像时间顺序作为迭代的先验信息，提出了利用改进的SFM进行三维重建的方法；何豫航和岳俊[9]对于CMVS/PMVS算法进行三维重建进行研究，表明该算法对室外重建具有非常好的效果；曾蔚等[10]在利用单幅影像的明暗恢复形状三维重构算法的基础上，提出利用外界辐射源以及自身辐射源的红外-自阴影重建(Infrared Shape From Shading，IR-SFS)方法进行三维重构，整体效果得到明显改善。
基于“软件定义卫星”的思想，本文利用SFM方法，对非合作目标进行稀疏点云重建；在稀疏点云的基础上，利用CMVS/PMVS算法稠密点云重建，针对存在的稠密点云分布不均匀、存在空洞的缺点，进一步采用泊松重建进行优化。在此基础上，本文设计并实现了一套软件系统。该软件系统由2部分构成：星上云节点软件以及地面用户软件。星上云节点软件主要具备以下功能：①存储卫星相机采集目标的图像；②完成不同模式下的三维重建以及生成三维文件。地面用户软件可部署在用户手机上，主要具备以下功能：①选择三维重建模式，并对星上云节点软件发布重建指令；②读取星上云节点生成的三维文件，展示三维重建效果，实现卫星与地面用户的交互；③读取并展示星载摄像机获取的图片。通过该软件系统，用户可以清晰、直观地观测到非合作目标的三维结构，实现了普通用户观测太空的功能。对于科研人员而言，非合作目标三维重建过程中生成的三维数据，为非合作目标的定轨、定姿提供了数据支撑[11]。
1 本文方法 本文实现了一套针对非合作目标三维重建的系统，体系结构如图 1所示。利用星载摄像机获取非合作目标图像序列，存储在卫星上，地面用户可以通过手机APP访问数据库，读取图像；同时，地面用户通过手机APP下发三维重建指令，星上云节点软件根据接收到的指令，利用星载摄像机采集的图片，计算完成三维重建，生成三维文件。地面用户通过访问该三维文件，即可在手机APP上展示非合作目标的三维结构。真正实现地面普通用户与卫星之间的交互。
 |
| 图 1 系统工作流程 Fig. 1 System workflow |
| 图选项 |
图 2展示了本文所采用的三维重建流程。主要分以下3个步骤：
 |
| 图 2 三维重建流程 Fig. 2 3D reconstruction workflow |
| 图选项 |
步骤1??对所输入的每幅图像提取特征点，并进行匹配，建立特征点匹配集合，做为SFM重建所需的输入。
步骤2??利用步骤1获取的匹配特征点集，计算摄像机的投影矩阵，并利用光束平差法对投影矩阵进行优化，得到稀疏点云。
步骤3??将步骤2中得到的稀疏点云做为种子输入，利用CMVS算法对图像进行聚类，获得图像面片，再利用Furukawa和Ponce[6]提出的PMVS算法，进行匹配、扩展、过滤后，完成稠密点云重建。由于稠密点云重建后由于生成的面片分布不均匀[12]，进一步采用泊松重建[13]的方法，生成致密、均匀的物体表面，获得良好的可视化效果。
其中，三维重建的计算功能在星上云节点软件中完成，采用C++语言开发，部署在卫星上，无图形界面。星上云节点软件可完成稀疏点云重建和稠密点云重建。三维重建结果的图形化展示由部署在地面用户移动终端上的APP完成。APP采用C++语言进行开发。用户通过读取星上云节点软件生成的三维文件，即可在手机、PC等移动端展示重建生成的非合作目标的三维结构。同时，地面用户可以对重建结果进行缩放、旋转等操作，多角度、全方位观察非合作目标的三维结构。如图 3所示，图 3(a)展示了地面用户软件从星上云节点软件下载生成的三维可视化文件，点击“查看”按钮，即可展示三维重建的结果。
 |
| 图 3 地面用户软件 Fig. 3 Software for ground users |
| 图选项 |
1.1 稀疏点云重建 SFM方法本质是一个求解摄像机投影矩阵的过程，利用摄像机的相对位置信息，反演出目标点的三维信息，通过不断的迭代匹配，获得目标的三维点云以及摄像机的位姿信息。对于三维空间中的点P，其在两幅图像中的投影点为p1、p2, p2TFp1=0，满足对极几何约束，通过对F矩阵的计算，最终可以求得摄像机的内参数矩阵以及外参数矩阵(包括旋转R和平移t)，也就是求得投影矩阵，结合三角定位的知识，就可以反演出P点的三维坐标。
求得初始的投影矩阵后，不断加入新的图像，进行迭代计算。最终的三维坐标以及投影矩阵通过最小化式(1)中的函数得到：
 | (1) |
式中：(p1j, p2j)为三维点Pj在两幅图像中的匹配特征点对；K为摄像机的内参数矩阵；[Ri, Ti]为对应摄像机的外参数矩阵。
实验采用逐步添加摄像机的方法，而不是一次性估计所有参数。首先，选取2个匹配特征点最多的摄像机，采用RANSAC(五点法)[14]估计摄像机参数，然后通过三角测量计算通过这2个摄像机可观测到的特征点的三维坐标，并利用光束平差法，进行优化。接着逐步添加新的摄像机，并将新摄像机所能观测到的特征点加入目标优化函数中，添加完这些后，再对整个模型进行光束平差。整个过程不断重复，直到剩余摄像机没有观测到新的特征点。
基于速度和鲁棒性的考虑，对上述过程，本文进行了如下调整：
1) 每做一次优化以后，去掉那些包含高投影误差的奇异点，然后重新做优化，直到没有奇异点为止；
2) 一次初始化多个摄像机。首先加入包含最大匹配点数λ的摄像机，然后至少加入所有包含0.75λ匹配特征点的摄像机。
1.2 稠密点云重建 在稠密点云重建中，利用CMVS算法对SFM生成的稀疏点云进行聚类，减少SFM的输入量，获得图像面片，然后利用PMVS算法进行匹配、膨胀、过滤，实现稠密点云的三维重建。PMVS算法主要分为以下几个步骤：①通过SIFT提取特征点；②通过图像集进行特征点匹配，找到一组与图像区域相关的面片；③膨胀：通过初始匹配的传播来获得邻近像素和紧密贴片模型；④滤波：通过可见性这一约束条件，过滤掉误匹配的面片。步骤③和步骤④的不断重复，得到最终的面片模型。
1.3 泊松重建 稠密重建[15]生成的空间点云分布不均匀且存在一些空洞，经过扩散处理仍然有一部分场景区域得不到稠密的点云，因此进一步采用泊松重建，填补空洞，生成致密均匀的物体表面。
泊松重建利用泊松方程，通过求解指示面的等值函数，实现对点云的表面重建[16]。其本质属于一种隐函数方法，将有向点集的表面重建转化为空间泊松问题。假设输入点集S是点云数据的采样集s∈S，每个样本包含一个点和一个向内的法向量。假设点集在模型的表面上或其附近，通过估计模型的指示函数得到模型的近似表示，然后重建等值面，得到对模型表面一个无缝的三角逼近。重建过程分以下几个步骤：
步骤1??定义八叉树。八叉树是一种用于表述三维空间信息的数据结构。本文利用输入点集S构造八叉树，八叉树的最大深度为D，对于八叉树的每一个节点O，设置函数FO来表示每个节点的函数。对于每个节点O，用O.C表示节点O的中心，O.W表示节点O的宽度，q表示子节点。FO展开为
 | (2) |
为使V能表示为节点函数的线性求和，在选择基函数F时，采用盒滤波器的n阶卷积，随着n的增大，性能趋近于高斯滤波器。
步骤2??计算向量场。通过式(3)来计算子节点的指示函数梯度场的近似值：
 | (3) |
式中：NgbrD(s)为样本点s.p的最邻近8个深度为D的节点；αO, S为三次线性插值的权；s.N为法向量。采用该方法，生成向量场V。
步骤3??泊松方程求解。利用式(3)中求得的向量场V，反解泊松方程以得到表面的指示函数χ，具体求解采用拉普拉斯迭代矩阵求解。
步骤4??构造等值面。重建表面的过程实质上就是提取等值面的过程。为了获得表面?M，需要对采样点的位置进行估计，并求取平均值，利用式(4)和式(5)提取等值面：
 | (4) |
 | (5) |
式中：|S|表示点集中的点的数目。
步骤5??生成表面模型。
2 实验 2.1 实验数据 非合作目标成像数据缺乏以及“天智一号”卫星尚处在地面验证阶段，因此，本文采用地面数据进行软件系统的功能进行验证。图 4为实验采用的“玉兔号”登月车模型。
 |
| 图 4 “玉兔号”登月车模型 Fig. 4 "Rabbit" lunar rover model |
| 图选项 |
为了方便起见，本实验所用图片都利用地面用户APP部署的手机进行拍摄。手机型号为IPhone 6S，像素为1 200万，三维重建计算以及重建结果可视化软件都基于C++语言开发, 操作系统为Windows，处理器为Intel i5处理器，转速7 200 r/min。
在图像采集的过程中，本文模拟卫星间的图像采集角度，利用手机对月球车进行了图像采集。由于卫星间的相对运动，本文连续采集了一定角度的月球车的序列图像，作为软件平台的图像输入，一共采集了大约15张图片，图 5展示了其中的6张。
 |
| 图 5 “玉兔号”图像序列 Fig. 5 "Rabbit" image sequence |
| 图选项 |
2.2 实验结果及分析 实验通过地面用户软件分别向星上云节点软件发送稀疏重建以及稠密重建指令，读取生成的以PLY格式存储的三维重建文件，实现三维重建结果在手机、PC等APP上的展示。稀疏点云重建、稠密点云重建以及泊松重建结果都利用MeshLab进行展示。图 6展示了对非合作目标三维重建过程中特征点提取的信息。
 |
| 图 6 特征点提取 Fig. 6 Feature point extraction |
| 图选项 |
为了确定实验图片数量对重建效果的影响，我们分别选取了10、15、20张图片进行三维重建重建效果(如图 7所示)。由图 7可以看出，当图片数量为10时，三维重建效果相对较差；图片数量为15和20时，三维重建效果好。而随着图片数量的增长，三维重建需要的时间越长。图片数量为10时，重建时间约在17 min；图片数量为15时，重建时间约在30 min；图片数量为20时，重建时间约在40 min。因此综合考虑，采用15张图片进行三维重建。由图 7还可以看出，稠密点云重建存在可视化差、生成点云稀疏的缺点，因此需要对稠密重建进一步进行优化，以获得更好的可视化效果。
 |
| 图 7 稠密点云重建效果 Fig. 7 Dense point cloud reconstruction results |
| 图选项 |
本文选取15张图片进行三维重建，在图 7展示的重建效果的基础上，进一步采用了泊松重建[16]的方法，进行优化。将初始生成的稠密点云网格化，进一步填补稠密点云重建中的空洞，生成均匀紧密的表面。重建结果如图 8所示。与原始图片(见图 4)相比，可以看出，该软件系统对登月车的结构恢复完整，几乎与原图无差别，重建效果非常好。
 |
| 图 8 泊松重建结果 Fig. 8 Possion reconstruction results |
| 图选项 |
用户在笔者设计的手机APP上，可以对生成的非合作目标三维结构进行缩放、旋转，从不同的角度，全方位的对非合作目标进行观测。图 9展示了用户经过旋转操作以后，从不同角度观测到的非合作目标。
 |
| 图 9 三维重建不同角度展示 Fig. 9 3D reconstruction from different perspectives |
| 图选项 |
3 结论 1) 本软件基于卫星上的光学相机对于非合作目标的图像采集，进行特征点提取、特征点匹配、相机位置求解、稀疏三维模型重建、完整三维模型重建等操作；同时，提供数据接口，生成相应数据文件对非合作目标的定轨、定姿、捕获提供数据支持。同时本项目中设计有进行三维模型读取展示的安卓APP软件，实现了普通用户通过手机平台，借助卫星相机观看太空目标的功能。
2) 本软件由特征点提取匹配模块、稀疏点阵和相机坐标求解模块、完整模型优化模块组成。其中特征点提取匹配模块可以对非合作目标不同时刻的姿态特征点进行匹配，以确定其不同时刻的姿态。稀疏点阵和相机坐标求解模块可以求解本卫星同非合作目标之间的向量关系用于轨道确定。完整模型优化模块可以对非合作目标进行高精度的三维重建，以满足人眼观察和目标捕获。
3) 本软件功能全面，可以实现对于几十甚至上百公里的非合作目标进行高精度的三维重建，为利用视觉对非合作目标进行定轨、定姿提供数据支撑，可以实现通过手机读取相关数据并观察其三维结构，具有广阔的商业前景和科技前景。
下一步研究方向是利用三维重建获得的数据实现对非合作目标的定轨、定姿，完成一套完整的基于视觉进行非合作目标定轨、定姿的系统。
参考文献
| [1] | NISTéR D. An efficient solution to the five-point relative pose problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 756-771. DOI:10.1109/TPAMI.2004.17 |
| [2] | NISTéR D.Calibration with robust use of cheirality by quasi-affine reconstruction of the set of camera projection centres[C]//8th IEEE International Conference on Computer Vision(ICCV2001).Piscataway, NJ: IEEE Press, 2001: 116-123. https://www.researchgate.net/publication/3906146_Calibration_with_robust_use_of_cheirality_by_quasi-affinereconstruction_of_the_set_of_camera_projection_centres |
| [3] | NISTéR D.Frame decimation for structure and motion[C]//2nd European Workshop on 3D Structure from Multiple Images of Large-Scale Environments.Berlin: Springer, 2000: 17-34. https://link.springer.com/chapter/10.1007%2F3-540-45296-6_2 |
| [4] | TRIGGS B, MCLAUNCHLAN P F, HARTLEY R I, et al.Bundle adjustment-A modern synthesis[C]//International Workshop on Vision Algorithms.Berlin: Springer, 1999: 298-372. https://link.springer.com/chapter/10.1007/3-540-44480-7_21 |
| [5] | LOURAKIS M I, ARGYROS A A. SBA:A software package for generic sparse bundle adjustment[J]. ACM Transactions on Mathematical Software(TOMS), 2009, 36(1): 1-30. |
| [6] | FURUKAWA Y, PONCE J. Accurate, dense, and robust multi-view stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376. DOI:10.1109/TPAMI.2009.161 |
| [7] | 唐永鹤.基于序列图像的空间非合作目标三维重建关键技术研究[D].长沙: 国防科学技术大学, 2012: 13-36. TANG Y H.Researches on 3D reconstruction technologies for non-cooperative space targets using image sequences[D].Changsha: National University of Defense Technology, 2012: 13-36(in Chinese). http://cdmd.cnki.com.cn/Article/CDMD-90002-1014047858.htm |
| [8] | 张浩鹏, 魏全茂, 张威, 等. 基于序列图像的空间目标三维重建[J]. 北京航空航天大学学报, 2016, 42(2): 273-279. ZHANG H P, WEI Q M, ZHANG W, et al. Sequential-image-based space object 3D reconstruction[J]. Journal of Beijing University of Aeronautics and Astronautics, 2016, 42(2): 273-279. (in Chinese) |
| [9] | 何豫航, 岳俊. 基于CMVS/PMVS多视角密集匹配方法的研究与实现[J]. 测绘地理信息, 2013, 38(3): 20-23. HE Y H, YUE J. Research and implementation based on multi-view dense matching by applying CMVS/PMVS[J]. Journal of Geomatics, 2013, 38(3): 20-23. (in Chinese) |
| [10] | 曾蔚, 王汇源, 刘莹奇, 等. 基于IR-SFS算法空间目标红外影像3D重建[J]. 中国光学, 2014, 7(3): 376-388. ZENG W, WANG H Y, LIU Y Q, et al. 3D reconstruction of space target IR image based on IR-SFS algorithm[J]. Chinese Optics, 2014, 7(3): 376-388. (in Chinese) |
| [11] | 曹彩秀.非合作航天器位姿在轨测量方法的研究[D].北京: 北京邮电大学, 2015: 25-34. CAO C X.Pose on-orbit measurement of non-cooperative spacescraft[D].Beijing: Beijing University of Posts and Telecommunications, 2015: 25-34(in Chinese). http://cdmd.cnki.com.cn/Article/CDMD-10013-1015585845.htm |
| [12] | 郑恩, 成耀天, 林靖宇. 采用去抖动模糊算法的稠密三维重建[J]. 计算机工程与应用, 2018, 54(1): 217-223. ZHENG E, CHENG Y T, LIN J Y. Dense 3D reconstruction based on removing camera-shake fuzzy algorithm[J]. Computer Engineering and Applications, 2018, 54(1): 217-223. (in Chinese) |
| [13] | VALENTIN J P C, SENGUPTA S, WARRELL J, et al.Mesh based semantic modelling for indoor and outdoor scenes[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE Press, 2013: 2067-2074. https://www.researchgate.net/publication/261129160_Mesh_Based_Semantic_Modelling_for_Indoor_and_Outdoor_Scenes |
| [14] | LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. DOI:10.1023/B:VISI.0000029664.99615.94 |
| [15] | FORSYTH D. Computer vision:A modern approach[J]. Prentice Hall Professional Technical Reference, 2002, 14(1): 294-299. |
| [16] | BOLITHO M, KAZHDAN M M, BURNS R C, et al.Parallel Poisson surface reconstruction[C]//International Symposium on Visual Computing.Berlin: Springer, 2009: 678-689. https://link.springer.com/chapter/10.1007%2F978-3-642-10331-5_63 |
