当前,国外许多空间探测机构都通过在地面建立半物理仿真实验室的方式获取空间目标光学图像。例如,为了有效模拟生成行星表面光学图像,欧洲航天局(ESA)[6]、德国宇航局[7]、加拿大NGC航空航天公司[8]等均搭建了行星表面半物理仿真实验室,利用大尺度平面沙盘模拟星体表面,利用机械臂携带的摄像机模拟导航摄像机。虽然利用这种半物理仿真实验室能够实现对各种导航控制算法的测试和验证,但实验室建设费用成本高,改造不灵活,并且构造的星体表面区域大小受到实验场地的限制,无法高效灵活实现对任何需求目标的图像的生成[9]。为此,大量研究机构和****均开展了空间目标仿真图像全数字仿真生成技术的研究。
英国邓迪大学在欧洲航天局的资助下开发了一套星体环境仿真模拟软件PANGU[10],其利用真实数据或者合成数据对星体(火星、月球、水星及小行星等)自然地质环境进行建模,并能够实现对光学摄像机、激光雷达等传感器的建模,从而生成相应的仿真图像。PANGU可以满足绝大多数的空间探测算法的研发与测试需求,但并不支持对航天飞机、卫星等空间目标仿真图像的生成能力,且PANGU是一个商业软件,收费昂贵,算法的具体实现原理和源代码均没有公开,在国内拥有PANGU软件的单位并不多。同时,PANGU功能繁多,应用背景复杂,对于简单的视觉算法研发和快速验证效率不高。
除PANGU外,目前针对空间目标图像生成的研究主要以星体表面陨石坑生成为主[11-12]。这些方法主要基于解析方法对空间目标进行建模[13-14],并通过计算导航摄像机的光线反投影与空间目标解析模型的交点的方式生成空间目标光学图像,该过程涉及复杂的多元变量优化问题,求解过程效率低,容易陷入局部最优解,导致仿真图像无法有效生成。
因此, 针对传统空间目标光学图像生成技术存在的模型复杂、求解效率低的问题,本文创新性地提出了一种基于三维点云模型和射影变换基本理论的空间目标(小行星、航天器、无人机、航天飞机等)光学图像生成技术,并利用大量仿真实验验证了所生成的仿真图像可以有效地被用于测试和评估空间探测任务中的态势感知、视觉导航等核心算法。
1 空间目标光学图像生成总体框架 本文提出的空间目标光学图像生成技术总体框架如图 1所示,由仿真参数设置层、仿真图像生成层和仿真图像输出层构成。首先,在仿真参数设置层对仿真摄像机内参数和外参数进行设置,指定需要生成仿真图像的空间目标,并给定空间目标所处空间环境中的太阳光照方向。然后,在仿真图像生成层,基于仿真参数设置层提供的参数构建仿真摄像机模型和空间目标三维点云模型;并通过仿真摄像机像平面几何反投影计算得到投影图像中每个像素点与空间目标三维点云模型顶点的对应关系,再结合给定的太阳光照方向和投影图像中每个像素点对应的模型空间点处的法向量,计算投影图像中每个像素点的灰度值,该过程称为投影图像着色。最后,在仿真图像输出层得到空间目标光学图像。图 1所示的仿真图像生成框架能够逼真地模拟摄像机“看”到的场景,从而为空间碎片清理、空间航天器交会对接、行星探测器软着陆等应用场景提供大量可用的光学图像数据集。
图 1 空间目标光学图像生成技术总体框架 Fig. 1 Overall framework of space object optical image generation technique |
图选项 |
在空间目标光学图像生成技术总体框架中,仿真图像生成层是其核心所在,其中,仿真摄像机模型构建、仿真摄像机像平面几何反投影、投影图像着色是最核心的问题,也是本文关注的重点,而空间目标的三维点云模型构建可由NASA 3D模型资源网获取,所以本文对三维点云模型构建不进行详细分析。
2 仿真摄像机模型构建 空间目标光学图像生成技术总体框架中所使用的仿真摄像机模型为图 2所示的针孔成像模型,该模型有效地表征了三维空间到二维平面的中心投影关系。为有效利用代数形式对该投影模型进行描述,先对仿真摄像机模型涉及的3个坐标系(世界坐标系、摄像机坐标系和图像坐标系)进行定义。世界坐标系(简记为WCS)为空间目标所处的坐标系,其原点ow位于空间某固定位置点,WCS的3个坐标轴xw、yw、zw分别指向ow处的东、北、天方向。摄像机坐标系(简记为CCS)的原点oc位于仿真摄像机光心位置,其zc轴与光轴重合,并指向仿真摄像机像平面,xc轴和yc轴分别与仿真摄像机像平面的矩形边平行。图像坐标系(简记为ICS)是定义在仿真摄像机像平面上的一个二维坐标系,其原点oi位于图像像平面左下角,2个坐标轴ui和vi分别与图像像平面的横向和纵向平行。
图 2 仿真摄像机模型及相关坐标系定义 Fig. 2 Simulated camera imaging model and definition of relevant coordinate systems |
图选项 |
给定一个三维空间点X,其在WCS中的齐次坐标为XWCS=[xyz 1]T,点X在仿真摄像机透视投影矩阵P= K[R t]的作用下被变换为图像点x(t为平移向量,R为三维旋转矩阵),并且点x在ICS中的齐次坐标为xICS=[u v 1]T,则 XWCS和xICS之间的关系可描述为
(1) |
式中:s为一个非零尺度因子,表征了空间点X的深度信息;矩阵 K为仿真摄像机的内参数矩阵,其形式为
(2) |
其中:参数f为摄像机的焦距;[u0v0]T为仿真摄像机主点在ICS下的非齐次坐标;f、u0和v0都以像素为量纲。
本文假定仿真摄像机的质量较好,不存在畸变,并且像素为长宽相等的矩形,所以K仅有3个自由度,由此仿真摄像机得到的仿真图像尺寸为2u0×2v0。
式(1)中的平移向量t和三维旋转矩阵R 分别表征了CCS和WCS之间的位置和方位信息。其中,t为WCS的原点ow在CCS下的非齐次坐标;R的3个列向量r1、r2、r3分别为WCS的3个坐标轴xw、yw、zw在CCS中的方向向量,利用R 可以将WCS下的方向向量转换到CCS下。假定仿真摄像机光心oc在WCS下的非齐次坐标为oWCS=[x0 y0h]T,h为oc与xwyw平面的距离,[x0y0]T为oc在xwyw平面的投影点的非齐次坐标。那么,t和oWCS具有如下关系:
(3) |
此时,可以得到仿真摄像机透视投影矩阵 P的另外一种形式:
(4) |
基于仿真摄像机模型,得到仿真摄像机成像基本流程,如图 3所示。
图 3 仿真摄像机模型构建基本流程 Fig. 3 Basic process for constructing simulated camera imaging model |
图选项 |
首先,设定仿真摄像机的焦距f及像平面主点的非齐次坐标[u0 v0]T,并利用式(2)得到仿真摄像机的内参数矩阵K 。
然后,给定仿真摄像机光心oc在WCS下的非齐次坐标 oWCS=[x0 y0 h]T及仿真摄像机的CCS相对于CCS0的3个欧拉角α、β、γ,规定由CCS0向CCS的转动按照z-x-y顺序(见图 3)。CCS0是为了使3个欧拉角α、β、γ具有更加明显的几何意义而引入的中间坐标系,CCS0的原点与CCS相同,3个坐标轴xc0、yc0和zc0分别指向xw、-yw和zw方向。那么,仿真摄像机旋转矩阵 R和平移向量 t 分别为
(5) |
式中:
(6) |
(7) |
(8) |
(9) |
3 仿真摄像机像平面几何反投影 仿真摄像机像平面几何反投影的根本目的是找到投影图像中每个像素点与空间目标三维点云模型之间的对应关系。其中,空间目标三维点云模型由一组属于该目标表面的空间点构成,并且3个点构成一个三角面片,图 4给出了一个典型空间目标(月球表面某区域)三维点云模型。可以看到,该模型的基本构成元素为点和三角面片,这种模型不具有解析形式。
图 4 月球表面三维点云模型示意图 Fig. 4 Schematic diagram of 3D point cloud model of lunar surface |
图选项 |
实际上,仿真摄像机对空间模型成像的过程就是将空间三维点云模型投影到仿真摄像机二维图像平面上的过程,并且只有落入仿真摄像机视场范围内的模型部分才会被投影到图像平面。另外,三维点云模型的不同区域可能会被投影到像平面的某一个相同区域,该区域呈现的是距离仿真摄像机光心最近的那部分模型。
基于以上思想,仿真摄像机像平面几何反投影的基本思路为:给定图像上某个像素点q,首先,计算像素点q的反投影光线;然后,计算该反投影光线与空间三维点云模型的所有可能交点;最后,将距离仿真摄像机光心最近的那一个交点确定为图像点q对应的模型空间点Q。由于三维点云模型的表面是由一系列三角面片构成的,所以几何反投影仅涉及反投影光线与空间三角面片的交点,下面给出具体方法。
对于图像上的像素点q,为了高效计算其所对应的模型空间点,先排除不可能与像素点q的反投影线ocq相交的三角面片,再计算ocq与所有可能与其相交的三角面片的交点,则距离仿真摄像机光心最近的那一个交点即为像素点q对应的空间点Q。
为了排除不可能与反投影线ocq相交的三角面片,应先将三维空间中所有三角面片投影到图像平面上,得到图像三角面片,再利用图像三角形的外接矩形排除不可能包含点q的图像三角形。如图 5所示,以点a、b、c为顶点的图像三角形△abc为例,其外接矩形D1D2D3D4的4个顶点D1D2D3D4的非齐次坐标分别定义为
(10) |
图 5 图像三角面片及其外接矩形 Fig. 5 Imaged triangle patch and its circumscribed rectangle |
图选项 |
式中:[xa,ya]T、[xb,yb]T、[xc, yc]T分别为点a、b、c的非齐次坐标;max{}和min{}分别表示求取给定集合中所有元素的最大值和最小值。
对于像素点q,如果它没有落入矩形D1D2D3D4(通过简单的坐标比较即可判断得到),就一定不可能被图像三角形△abc包含。对于图 5所给出的示例,由于矩形框2、3并不包含像素点q,则q一定不会落入图像三角形2、3中,而像素点q落入了矩形框1、4、5中,那么,图像三角形1、4、5可能会包含像素点q。
利用凸锥的性质[15]对图像三角形是否会包含像素点q进行判断。仍以图 5中的图像三角形△abc为例,其3个顶点的齐次坐标分别为 ah=[xa,ya,za]T、bh=[xb, yb, zb]T、ch=[xc,yc,zc]T,由这3个齐次坐标向量的非负组合构成的集合Ω是一个凸锥。如果像素点q位于△abc内部(包括顶点和边),其齐次坐标向量qh一定可以由齐次坐标向量ah、bh、ch非负线性表示;反之,如果齐次坐标向量qh不能由齐次坐标向量ah、bh、ch非负线性表示,那么点q一定位于△abc外部。所以,为了判别点q是否位于△abc内部,应先计算齐次坐标 qh由齐次坐标向量 ah、bh、ch的线性表出系数向量 λ ,如果λ 中存在小于零的元素,则点q一定位于△abc外部。λ的计算方式为
(11) |
对于图 5中图像三角形1,由它的3个顶点构造的凸锥并不包含点q,所以,像素点q一定不会落在图像三角形1中,从而,像素点q的反投影线ocq只可能与图像三角形4、5对应的空间三角面片相交。
假设图像三角形△abc包含像素点q,且其齐次坐标向量 qh=[uq vq 1]T,需要计算点q反投影线ocq与△abc对应的空间三角面片△ABC的交点Q。空间三角面片△ABC的3个顶点A、B、C在WCS下的齐次坐标分别为 AWCS、BWCS、CWCS,则根据式(1)所描述的仿真摄像机模型,可以得到这3个空间点在CCS下的齐次坐标 ACCS、BCCS、CCCS为
(12) |
从而,由空间点A、B、C所张成的平面ABC的法向量n在CCS下的非齐次坐标为
(13) |
式中:ACCS、B CCS、C CCS分别为点A、B、C在CCS下的非齐次坐标。所以ABC在CCS下的齐次坐标为[nCCST 1]T。
对于像素点q,其在CCS下的非齐次坐标为
(14) |
那么,反投影线ocq在CCS下的Plucker坐标Loq为[16]
(15) |
式中:
(16) |
分别将式(12)~式(15)代入式(16),并进行整理,可以得到
(17) |
那么,点Q在CCS下的非齐次坐标为
(18) |
空间点Q和仿真摄像机光心oc之间的距离d为
(19) |
式中:符号||·||和| · |分别表示求取向量长度和求取标量绝对值。
4 投影图像着色 在仿真摄像机像平面几何反投影阶段,已经获得了仿真图像平面每个像素点与模型空间点的对应关系,为了得到最终的空间目标光学图像,需要为像平面每个像素点赋予一个灰度值,这一过程即为图像着色。每个像素点的灰度值可以由其相应的模型空间点的辐射热能确定,这主要取决于太阳光照方向、空间模型法向量方向及材料的光学性质[17]。
太阳光照方向会对空间目标光学图像的光照强度和阴影方向产生影响,所以,必须充分分析太阳的光照方向。本文使用平行光模拟空间目标所处环境中的太阳光照,每条光线都来自于无穷远处,并且具有相同的传播方向。规定太阳光线的方向向量是一个与太阳光线实际传播方向相同的向量 s ,其主要由2个参数决定:太阳高度角η和太阳方位角θ,它们的几何意义如图 6所示。太阳高度角指太阳光照方向与WCS的xwyw平面的夹角,这里设定取值范围为[0°, 90°];方位角指在xwyw平面上,由轴yw顺时针转至太阳光照方向在xwyw平面的投影线所经过的角度(即WCS原点ow处的北偏东方向),取值范围为[0°, 360°]。那么,在WCS中,太阳光线的方向向量s为
图 6 太阳高度角和方位角示意图 Fig. 6 Schematic diagram of solar elevation and azimuth |
图选项 |
(20) |
除了太阳光照外,本文忽略了其他光照(如环境光照)的影响,并认为所有接收不到太阳光照的区域灰度值均为零。对于能够接收到光照的模型空间点,利用仅含有漫反射(Lambertian漫反射模型[17])分量的光照模型计算其光照强度。具体地,对于像素点q所对应的模型空间点Q,其辐射能量iq为
(21) |
式中:参数ζ为控制辐射能量取值的系数;nQ为空间目标三维点云模型在点Q处的法向量。
5 仿真实验 本节通过仿真实验手段对提出的基于三维点云模型的空间目标光学图像生成算法的有效性进行验证。整个仿真过程在具有Windows10操作系统的台式计算机上完成。为了使得空间图像仿真系统便于操作,根据本文算法开发了空间目标仿真图像生成系统软件,该软件的具体示意图如图 7所示,整个仿真实验过程中,均利用该软件实现仿真图像的生成。
图 7 空间目标仿真图像生成系统软件示意图 Fig. 7 Schematic diagram of software of space object simulated image generation system |
图选项 |
在整个实验过程中,始终使用相同的仿真摄像机,不改变仿真摄像机内参数,令仿真摄像机焦距f=700像素,像平面主点为(u0, v0)= (320像素, 240像素),图像分辨率为640×480,而仿真摄像机外参数和太阳光照方向将随着具体实验内容的不同而被设置为不同取值。对于空间目标的三维点云数据,实验将使用NASA 3D模型资源网提供的各种空间目标模型作为输入,图 8分别给出了Triana卫星、某航天飞机等典型空间目标三维点云模型。
图 8 典型空间目标三维点云模型 Fig. 8 Three-dimensional point cloud model of typical space objects |
图选项 |
为了有效评价本文提出的空间目标光学图像生成技术所产生的图像的真实性和有效性,设计了3组实验,如图 9所示。首先,利用本文算法产生典型空间目标的光学图像,从视觉效果上对本文算法进行评估;然后,分析仿真参数取值的不同对本文算法的影响;最后,分别将基于本文算法生成的仿真图像应用于椭圆拟合、着陆器视觉导航、航天器交会对接、陨石坑检测、空间目标跟踪等典型空间探测任务中,通过评估相应任务完成的优劣实现对本文算法的评估。
图 9 仿真实验验证内容 Fig. 9 Verified concepts of simulation experiments |
图选项 |
5.1 仿真图像生成 在仿真图像生成实验中,利用本文提出的空间目标光学图像生成技术分别产生行星表面、航天飞机、卫星、着陆器等典型空间目标的仿真图像,从视觉角度定性实现对本文算法的评估。
首先,分别生成Vesta小行星[18]和Eros小行星[19]的仿真图像,实验结果如图 10所示,其中,星体表面的真实图像分别来自于美国今日太空网[20]和行星学会[21]。
图 10 本文算法生成的Vesta小行星和Eros小行星仿真图像与真实图像对比 Fig. 10 Comparison between simulated images generated by proposed algorithm and true images of Vesta asteroid and Eros asteroid |
图选项 |
由于仿真摄像机与获取真实图像的真实摄像机具有不同的拍摄视角和成像光照条件(包括太阳光照强度和太阳光照方向),所得到的仿真图像和真实图像所对应的行星表面区域并不完全一致。为便于分析,分别在图 10所示的仿真图像和真实图像中利用椭圆形曲线标注了两者存在重合的区域,并统计在重合区域内仿真图像和真实图像所包含的陨石坑的对应关系。图 10中利用直线连接了仿真图像和真实图像中的相对应陨石坑。根据结果可以看到,在仿真图像和真实图像的重合区域(即对应于行星表面的同一个区域),仿真图像与真实图像所包含的典型陨石坑数量和相对之间的构型完全一致,从而有效地说明了本文算法可以生成逼真度较高的小行星图像。
然后,分别基于不同的仿真条件生成航天飞机、Aurora卫星、Triana卫星、阿波罗着陆器、全球鹰无人机的仿真图像,实验结果如图 11所示,(a)~ (e)分别给出了相应模型在不同的仿真摄像机外参数条件下生成的仿真图像结果,可以看到,本文算法可以生成逼真度较高的空间目标仿真图像。
图 11 空间目标仿真图像生成实验结果 Fig. 11 Experimental results of simulation image generation of space objects |
图选项 |
另外,为了分析本文算法与解析算法[11]之间的性能差异,分别利用这2种算法生成包含多个陨石坑的星体表面图像,从视觉和算法运行时间2个方面对比2种算法。实验结果如图 12所示,根据实验结果可见,本文算法生成的图像具有更好的真实性和普适性,在视觉效果上更接近于真实空间目标图像,并且其运行速度要快于解析算法。这是因为三维点云模型主要由大量三角面片构成,在计算光线与模型交点时,只涉及到直线和平面的交点,而基于三维解析模型的算法需要多次计算光线和二维曲面的交点。
图 12 不同算法仿真图像生成对比实验结果 Fig. 12 Comparison of experimental results of simulation image generation between different algorithms |
图选项 |
5.2 仿真参数影响 本节实验主要分析不同仿真参数对空间目标光学图像生成技术的影响。具体地,分别讨论太阳光照方向、仿真摄像机与空间目标三维点云模型之间距离、仿真摄像机姿态等参数对仿真图像生成的影响。实验所使用的空间目标三维点云模型为NASA 3D模型资源网公布的灶神星北半球的Snowman陨石坑区域模型,该区域的数据由美国黎明号行星探测器获取。图 13(a)给出了Snowman陨石坑区域的三维点云模型及仿真摄像机的模型,图 13(b)给出了黎明号行星探测器对Snowman陨石坑区域的真实成像结果,该图像来自于NASA的图像库。
图 13 Snowman陨石坑区域三维点云模型及真实图像 Fig. 13 Three-dimensional point cloud model and true image of Snowman crater area |
图选项 |
首先,分析太阳光照方向对本文算法的影响。固定仿真摄像机外参数,令仿真摄像机光心在WCS下的非齐次坐标为[-50, -70, 275]Tm,CCS三个坐标轴的欧拉角分别为:α=5°、β=7°、γ=6°。利用该仿真摄像机生成9幅陨石坑仿真图像,每幅图像对应的太阳高度角和方位角依次为{(10°, 10°), (20°, 20°), …, (90°, 90°)}(变化间隔为(10°, 10°)),从而模拟太阳光照方向的变化,实验结果如图 14所示。可以看到,随着太阳高度角的增加,陨石坑图像的灰度值逐渐增加,对比度变弱,而太阳方位角仅影响导航图像中的阴影方向。
图 14 陨石坑仿真图像与太阳光照方向关系实验结果 Fig. 14 Experimental results of relationship between crater simulated image and sunlight illumination direction |
图选项 |
然后,讨论仿真摄像机高度对本文算法的影响。实验中,固定太阳光照方向和除仿真摄像机光心高度外的其他所有仿真摄像机外参数。令η=45°,θ=45°,CCS三个坐标轴的欧拉角分别为:α=20°、β=5°、γ=2°,仿真摄像机光心在WCS下的非齐次坐标为[-50m, -70m, h]T,产生8幅仿真图像,每幅图像的光心高度h分别取{500m, 450m, …, 150m}(取值间隔为50m)。实验结果如图 15所示,从图像序列可以看到,仿真图像有效模拟了着陆器的着陆过程。随着仿真摄像机距离星体表面越来越近,出现在仿真摄像机像平面上的星体表面区域范围变得越来越小,但相应的图像陨石坑尺寸越来越大。应该注意,在仿真摄像机距离星体表面距离较远时,其视场内包含的星体表面区域较大,超出了给定的三维点云模型,所以图 15中的前几幅图像中会出现部分黑色区域。
图 15 陨石坑仿真图像与仿真摄像机高度关系实验结果 Fig. 15 Experimental results of relationship between crater simulated image and simulated camera height |
图选项 |
最后,验证仿真摄像机姿态的变化对本文算法的影响。与前2组实验相似,本组实验将固定太阳的光照方向和除zc轴的欧拉角α之外的其他所有仿真摄像机外参数。令η=45°,θ=45°,xc轴和yc轴的欧拉角分别为β=5°和γ=2°,仿真摄像机光心在WCS下的非齐次坐标为[0m, 0m, 200m]T,产生11幅图像,每幅图像对应的zc轴的欧拉角α分别取{30°, 60°, …, 330°}(取值间隔为30°)。图 16给出了实验结果,图像序列模拟了仿真摄像机绕zc轴进行的一组360°偏航运动的操作,由于每幅图像的光照方向完全一致,它们的阴影方向和灰度值分布基本相同。
图 16 陨石坑仿真图像与仿真摄像机姿态关系实验结果 Fig. 16 Experimental results of relationship between crater simulated image and simulated camera attitude |
图选项 |
5.3 仿真图像应用 在仿真图像应用实验中,利用本文提出的空间目标光学图像生成技术产生陨石坑仿真图像、卫星仿真图像和行星表面仿真图像,并应用于椭圆拟合、着陆器视觉导航、航天器交会对接、陨石坑检测、空间目标跟踪等典型应用场景,通过将实验结果与各应用场景原始实验结果进行对比,实现对本文算法的验证。
首先,分别生成月球Snowman陨石坑区域(2个视角)、Aurora卫星、神舟飞船仿真图像,结果如图 17所示。利用文献[22]所提方法对图 17(a)、(b)中的仿真图像进行椭圆拟合,利用文献[23]所提方法对图 17(c)、(d)中的仿真图像进行椭圆拟合,拟合结果如图 17中的椭圆曲线所示。可以看到,仿真图像中的典型椭圆均被正确拟合,从而有效验证了本文算法对椭圆拟合算法验证的可靠性和准确性。
图 17 椭圆拟合算法验证实验结果 Fig. 17 Experimental results of ellipse fitting algorithm verification |
图选项 |
其次,生成Rheasilvia小行星、月球近地表面仿真图像,并利用生成的图像对基于陨石坑的着陆器视觉导航算法[24]进行验证,具体的实验结果如图 18所示,相应的导航算法位置和姿态计算误差如表 1所示。可以看到,着陆器视觉导航算法[24]能够精确地实现基于仿真图像的着陆阶段视觉导航信息获取,并且与原文的评估结果基本一致,从而有效验证了本文算法的有效性。
图 18 着陆器视觉导航算法验证实验结果 Fig. 18 Experimental results of lander visual navigation algorithm verification |
图选项 |
表 1 着陆器视觉导航算法验证实验精度 Table 1 Experimental accuracy of lander visual navigation algorithm verification
导航误差 | Rheasilvia小行星 | 月球近地表面 |
位置误差/m | 0.01 | 0.012 |
0.02 | 0.019 | |
??0.015 | 0.009 | |
姿态误差/rad | 0.01 | 0.014 |
0.03 | 0.009 | |
??0.013 | 0.021 |
表选项
再次,生成Triana卫星和Aurora卫星仿真图像,并利用生成的仿真图像验证航天器交会对接算法[25]的有效性。基于仿真图像计算得到的空间飞行器导航信息结果如图 19所示,相应的位置和姿态解算误差如表 2所示,与航天器交会对接算法的原始实验结果基本一致,从而验证了本文算法对航天器交会对接算法验证的可靠性和有效性。
图 19 航天器交会对接算法验证实验结果 Fig. 19 Experimental results of spacecraft rendezvous and docking algorithm verification |
图选项 |
表 2 航天器交会对接算法验证实验精度 Table 2 Experimental accuracy of spacecraft rendezvous and docking algorithm verification
位姿误差 | Triana卫星 | Aurora卫星 |
位置误差/m | 0.02 | 0.019 |
??0.017 | 0.021 | |
??0.009 | 0.018 | |
姿态误差/rad | 0.03 | 0.008 |
0.09 | 0.022 | |
??0.016 | 0.013 |
表选项
然后,利用本文算法生成仿真图像构造陨石坑图像数据集和空间飞行器图像数据集,其中,陨石坑图像数据集包括12000个样本(6000个正样本和6000个负样本),空间飞行器图像数据集包括24000个样本(4种不同类型飞行器)。分别基于深层神经网络方法[26]和AdaBoost方法[27]构造陨石坑分类器和飞行器分类器,利用训练数据实现对分类器模型的训练,并利用测试数据集实现对算法的验证。为了比较不同算法的精度,本文利用查准率P、查全率R和F1来评估算法的泛化能力,它们是分类问题中最常用性能度量。
(22) |
(23) |
(24) |
式中:TP、FN、FP分别为真实的正例、错误的负例、错误的正例。
实验结果如表 3所示。可以看到,CNN方法对于陨石坑图像数据集和飞行器图像数据集的分类准确性要明显高于AdaBoost方法,这与文献[26]的实验结果完全一致,从而有效验证了本文算法生成的仿真图像的有效性。
表 3 不同分类器在陨石坑图像数据集和飞行器图像数据集上的分类结果 Table 3 Classification results of different classifiers on crater dataset and spacecraft dataset
图像数据集 | 分类器类型 | P | R | F1 |
陨石坑 | CNN | 0.91 | 0.90 | 0.91 |
???????AdaBoost | 0.85 | 0.82 | 0.83 | |
飞行器 | CNN | 0.93 | 0.91 | 0.92 |
???????AdaBoost | 0.87 | 0.83 | 0.85 |
表选项
最后,利用本文算法生成Triana卫星运动视频数据,运动视频时长129s,包含50帧灰度图像。利用空间目标跟踪算法[2]实现对Triana卫星的三维跟踪,即实时计算得到跟踪摄像机相对于Triana卫星的相对位置和姿态,并利用计算得到的位姿信息将Triana卫星三维模型投影到相应帧灰度图像上。典型图像帧投影结果如图 20中的绿色曲线所示,可以看到,Triana卫星的三维模型投影结果与Triana仿真图像边缘完全重合,实现了对Triana卫星的精准三维跟踪,验证了空间目标跟踪算法[2]的准确性,从而也充分说明了本文算法的有效性。
图 20 空间目标跟踪算法验证实验结果 Fig. 20 Experimental results of space object tracking algorithm verification |
图选项 |
6 结论 在典型空间探测任务中,基于光学图像的态势感知和视觉导航算法的设计、验证和评估对空间目标光学图像的质量、数量和信息完备性等均提出了较高的要求。本文基于空间目标三维点云模型和射影变换基本理论,设计了空间目标光学图像生成技术,通过充分的定性和定量仿真实验,验证了所生成的空间目标仿真图像的有效性,得到以下结论:
1) 可以快速高效生成典型空间目标仿真图像,能够满足椭圆拟合、陨石坑检测、着陆器视觉导航、航天器交会对接、空间目标跟踪等典型空间应用算法的定性和定量评估需求。
2) 可以实现行星表面陨石坑、空间飞行器等典型图像样本数据集的生成,能够满足空间智能化技术对训练数据集和测试数据集的需求。
3) 可以生成空间目标运动视频,能够满足空间目标跟踪算法验证的需求。
4) 在生成图像的真实性、普适性、快速性等方面均优于基于解析模型的仿真图像生成技术。
本文主要针对空间目标的灰度图像进行仿真生成,这与当前目标空间应用对空间目标图像需求一致,但随着空间应用的发展,未来可能对RGB彩色图像提出需求,所以,需要开展空间目标RGB彩色图像仿真生成技术研究,这将是下一步研究工作中的重点。
参考文献
[1] | XIANG Y, SCHMIDT T, NARAYANAN V, et al.PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes[EB/OL].(2017-11-01)[2019-04-01].http://export.arxiv.org/abs/1711.00199. https://www.researchgate.net/publication/320796892_PoseCNN_A_Convolutional_Neural_Network_for_6D_Object_Pose_Estimation_in_Cluttered_Scenes |
[2] | LIU C, HU W. Real-time geometric fitting and pose estimation for surface of revolution[J]. Pattern Recognition, 2019, 85: 90-108. DOI:10.1016/j.patcog.2018.08.002 |
[3] | CRIVELLARO A, RAD M, VERDIE Y, et al. Robust 3D object tracking from monocular images using stable parts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(6): 1465-1479. DOI:10.1109/TPAMI.2017.2708711 |
[4] | YU M, CUI H, TIAN Y. A new approach based on crater detection and matching for visual navigation in planetary landing[J]. Advances in Space Research, 2014, 53(12): 1810-1821. DOI:10.1016/j.asr.2013.04.011 |
[5] | ZHANG H, JIANG Z, ELGAMMAL A. Satellite recognition and pose estimation using homeomorphic manifold analysis[J]. IEEE Transactions on Aerospace and Electronic Systems, 2015, 51(1): 785-792. DOI:10.1109/TAES.2014.130744 |
[6] | ESA.Pinpoint vision-based landings on moon, mars and asteroids[EB/OL].(2013-05-29)[2019-04-01].http://www.esa.int/Our_Activities/Space_Engineering_Technology/Pinpoint_vision-based_landings_on_Moon_Mars_and_asteroids. https://www.researchgate.net/publication/317345295_A_new_experimental_facility_for_testing_of_vision-based_GNC_algorithms_for_planetary_landing |
[7] | GSA.TRON-Testbed for robotic optical navigation[EB/OL].(2017-03-29)[2019-04-01].http://www.ngcaerospace.com/space-systems/test-validation-services. |
[8] | NGC.High-fidelity hardware-in-the-loop emulators[EB/OL].(2017-03-29)[2019-04-01].http://www.ngcaerospace.com/space-systems/test-validation-services/. |
[9] | PARKES S M, MARTIN I.Virtual lunar landscapes for testing vision-guided lunar landers[C]//IEEE International Conference on Information Visualization.Piscataway, NJ: IEEE Press, 1999: 122-127. https://www.researchgate.net/publication/3811947_Virtual_Lunar_Landscapes_for_Testing_Vision-Guided_Lunar_Landers |
[10] | STAR-Dundee.PANGU-Planet and asteroid natural scene generation utility[EB/OL].(2017-02-08)[2019-04-01].https://www.star-dundee.com/products/pangu-planet-and-asteroid-natural-scene-generation-utility. |
[11] | LU T, HU W, JIANG Z.An effective algorithm for generation of crater gray image[C]//IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications.Piscataway, NJ: IEEE Press, 2015: 1-6. https://www.researchgate.net/publication/290194684_An_effective_algorithm_for_generation_of_crater_gray_image |
[12] | SU Q, ZHAO Y, WU F, et al.Simulation of high resolution lunar's Sinus Iridum terrain[C]//IEEE Conference on Industrial Electronics and Applications.Piscataway, NJ: IEEE Press, 2011: 2589-2592. |
[13] | LI J S, LIU W M, LAN C Z, et al. Fast algorithm for lunar craters simulation[M]. Berlin: Springer, 2011. |
[14] | 张玥, 李清毅, 许晓霞. 月球表面地形数学建模方法[J]. 航天器环境工程, 2007, 24(6): 341-343. ZHANG Y, LI Q Y, XU X X. Mathematical modeling of lunar surface terrain[J]. Spacecraft Environment Engineering, 2007, 24(6): 341-343. DOI:10.3969/j.issn.1673-1379.2007.06.002 (in Chinese) |
[15] | 陈宝林. 最优化理论与算法[M]. 2版. 2版.北京: 清华大学出版社, 2005: 10-23. CHEN B L. Theory and algorithms of optimization[M]. 2rd ed. Beijing: Tsinghua University Press, 2005: 10-23. (in Chinese) |
[16] | 吴福朝. 计算机视觉中的数学方法[M]. 北京: 科学出版社, 2008: 255-266. WU F C. Mathematics in computer vision[M]. Beijing: Science Press, 2008: 255-266. (in Chinese) |
[17] | AKENINE-MOLLER T, HAINES E.实时计算机图形学[M].2版.普建涛, 译.北京: 北京大学出版社, 2004: 40-50. AKENINE-MOLLER T, HAINES E.Real time graphics[M].2nd ed.PU J T, translated.Beijing: Peking University Press, 2004: 40-50(in Chinese). |
[18] | NASA.Vesta[EB/OL].(2017-04-28)[2019-04-01].https://nasa3d.arc.nasa.gov/detail/vesta. |
[19] | NASA.Eros[EB/OL].(2017-04-28)[2019-04-01].https://nasa3d.arc.nasa.gov/detail/eros. |
[20] | The Planetary Society.Mosaic of the asteroid Vesta from the Dawn spacecraft[EB/OL].(2017-04-28)[2019-04-01].http://www.planetary.org/multimedia/space-images/small-bodies/vesta_mosaic_0006121-6124.html/. |
[21] | Wikipedia.433 Eros[EB/OL].(2017-04-28)[2019-04-01].https://en.wikipedia.org/wiki/433_Eros. |
[22] | LU T, HU W, LIU C, et al. Effective ellipse detector with polygonal curve and likelihood ratio test[J]. IET Computer Vision, 2015, 9(6): 914-925. DOI:10.1049/iet-cvi.2014.0347 |
[23] | LU C, HU W. Effective method for ellipse extraction and integration for spacecraft images[J]. Optical Engineering, 2013, 52(5): 057002. DOI:10.1117/1.OE.52.5.057002 |
[24] | LU T, HU W, LIU C, et al. Relative pose estimation of a lander using crater detection and matching[J]. Optical Engineering, 2016, 55(2): 023102. DOI:10.1117/1.OE.55.2.023102 |
[25] | LIU C, HU W. Relative pose estimation for cylinder-shaped spacecrafts using single image[J]. IEEE Transactions on Aerospace and Electronic Systems, 2014, 50(4): 3036-3056. DOI:10.1109/TAES.2014.120757 |
[26] | COHEN J P, LO H Z, LU T, et al.Crater detection via convolutional neural networks[EB/OL].(2016-01-05)[2019-04-01].https://arxiv.org/abs/1601.00978. |
[27] | DING W, STEPINSKI T F, MU Y, et al. Sub-kilometer crater discovery with boosting and transfer learning[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(4): 39. |