, 吴建平1,2,3 1. 清华大学 计算机科学与技术系, 北京 100084;
2. 清华大学 网络科学与网络空间研究院, 北京 100084;
3. 清华大学 北京信息科学与技术国家研究中心, 北京 100084
收稿日期：2018-11-22
基金项目：国家自然基金重点项目（91738202）；北京市科技计划项目（Z171100005217001）；北京信息科学与技术国家研究中心项目（20031887521）
作者简介：杨增印(1988-), 男, 博士研究生
通信作者：李贺武, 副研究员, E-mail:lihewu@cernet.edu.cn
摘要：天地一体化信息网络是中国"科技创新2030"的重要项目，也是未来互联网发展的重点方向。域间路由协议是实现天地一体化信息网络中各类卫星网络与现有地面网络有效融合的关键，然而，卫星网络具有网络拓扑高动态的特性，使得现有域间路由协议的部署面临巨大挑战。该文在现有普遍应用的域间路由协议BGP（border gateway protocol）的基础上，提出了一种网络拓扑解耦的边界网关协议NTD-BGP。NTD-BGP引入独立于物理拓扑变化的域间邻居发现机制和主动路由更新模块，结合卫星运动的可预测特性，解耦网络拓扑与域间邻居关系和路由更新之间的映射关系，实现低开销、高稳定的域间路由。试验结果表明：NTD-BGP在维持域间邻居关系、减少路由更新时间以及保持网络稳定性等方面明显优于传统BGP。
关键词：天地一体化信息网络空间网络域间路由协议快速路由更新拓扑动态性
NTD-BGP: An inter-domain routing protocol for integrated terrestrial-satellite networks
YANG Zengyin1,3, WU Qian2,3, LI Hewu2,3
, WU Jianping1,2,31.Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China;
2.Institute for Network Sciences and Cyberspace, Tsinghua University, Beijing 100084, China;
3.Beijing National Research Center for Information Science and Technology, Tsinghua University, Beijing 100084, China
Abstract: Integrated terrestrial-satellite networks (ITSN) are a major project of China's "Scientific and Technological Innovation 2030" and an important development direction for the Internet. The inter-domain routing protocol is a key factor for effective integration of various satellite networks and existing terrestrial networks in ITSN. However, the network topology of satellite network changes frequently, which presents significant challenges for deployment of the existing inter-domain routing protocol. The widely used inter-domain routing protocol border gateway protocol (BGP) is used here to develop a network-topology-decoupled BGP (NTD-BGP). The protocol uses an inter-domain neighbor discovery scheme that is independent of the physical topology changes and a module for active routing updates. The protocol uses the predictability of the satellite movements to decouple the mapping between the network topology and the inter-domain neighbor relationship as well as routing updates to achieve efficient, stable inter-domain routing in ITSN. Emulations show that this protocol more effectively maintains inter-domain neighbor relationships, more effectively reduces routing update times, and more effectively maintains network stability than the traditional BGP.
Key words: integrated terrestrial-satellite networkspace networkinter-domain routing protocolfast routing updatetopology dynamics
随着地面偏远地区、空中区域、海洋区域等全球范围内互联网服务需求的增长，利用空间网络与地面网络在覆盖范围和移动接入等方面的互补性，建设覆盖全球的天、地一体的网络，不仅是中国“科技创新2030”的重要项目[1]，还是地面网络技术的发展趋势。天地一体化信息网络本质上就是利用互联网技术互联各类由高轨(geosynchronous orbit, GEO)、低轨(low earth orbit, LEO)、中轨(medium earth orbit, MEO)卫星和位于本土的地面站构成的异构卫星网络，并实现天、地网络间的融合[2-3]。
互联网技术，特别是域间路由协议，设计目的就是互联各类异构网络，实现网络间的互联。因此，在空间网络中部署域间路由协议能高效、快速地实现各卫星网络之间的互联，实现天地网络一体化融合。然而，直接将现有地面网络的域间路由协议BGP (border gateway protocol) [4]部署至天地一体化信息网络中会遇到一系列的技术挑战，如域间邻居关系不稳定、频繁路由更新、路由收敛缓慢等，甚至损耗地面网络的稳定性。主要原因是，传统域间路由协议与网络拓扑之间存在紧耦合关系，使之不能很好适应空间网络的高动态特性。地面网拓扑结构相对稳定，拓扑变化频率为几小时到几天的时间内发生一次[5]。传统域间路由协议的设计和部署会考虑与网络拓扑建立紧密的映射关系，即网络拓扑变化直接引起域间路由协议的工作状态变化；反之亦然。例如，BGP邻居关系与边界路由器物理链路间存在映射关系，物理链路中断将导致BGP邻居关系中断，同时BGP邻居关系中断也反映物理链路中断。但是，空间网络中各类卫星系统具有不同的运动规律，边界路由器之间的物理链路有规律地频繁变化，变化周期达秒级[6]，导致BGP邻居关系频繁改变，进而产生各类网络问题。因此，亟需设计适应空间网络特点的天地一体化信息网络域间路由协议。
本文在传统BGP的基础上提出一种网络拓扑解耦的天地一体化信息网络边界网关协议NTD-BGP，屏蔽了空间网络高动态性的影响。该协议利用卫星运动的规律性，将空间网络物理链路与BGP邻居关系和路由更新的映射关系进行解耦。首先，NTD-BGP采用独立于物理链路变化的回环地址建立边界路由器间的BGP邻居关系，并根据物理链路变化的预测信息实时更新BGP邻居关系的传输路径，保持域间邻居关系持续不变；其次，NTD-BGP引入主动路由更新模块，利用物理链路变化的预测信息主动修改BGP路由信息，实现快速路由更新。最后，基于开源路由软件Quagga[7] 1.2.4设计和实现了NTD-BGP的原型系统，并基于天地一体化信息网络试验环境，采用真实卫星数据验证了NTD-BGP的有效性。
1 研究背景1.1 天地一体信息网络概述典型的天地一体化信息网络的拓扑结构如图 1所示[2]，包含地面网络和空间网络。地面网络包括互联网和移动通信网络；空间网络包括主干网和接入网。主干网包括静止的高轨(GEO)卫星和位于本土的地面站，是一种静止的、覆盖全球的高速网络，为各接入网提供全球范围的接入服务；接入网包含中轨(MEO)、低轨(LEO)的多种卫星网络，每个卫星系统组成一个独立的自治域(autonomous system, AS)，独立地向用户提供服务(如通信、数据、传感器、定位业务)，并通过选择一个或多个卫星作为边界路由器接入主干网，实现卫星系统间组网和业务实时传输。
 |
| 图 1 天地一体化信息网络的总体架构[2] |
| 图选项 |
地面网络的网络拓扑相对固定，路由器间连接关系变化通常几小时到几天的时间内发生一次[5]，而空间网络受限于卫星高速运动，网络拓扑变化频繁。空间网络的域间拓扑变化大致可以分为2类：1)不可预测的链路中断，通常是由于通信信道受辐射干扰造成误码或卫星节点临时故障，导致空间链路短时间内中断。2)频繁但可预测的链路切换，通常是由于不同类型卫星自治系统具有不同运动规律，彼此间相对运动剧烈，导致卫星系统边界路由器间的物理链路发生频繁切换，即某卫星系统与对端卫星系统之间物理链路频繁从对端卫星系统的一个边界路由器切换到另一个边界路由器。为尽量减少链路切换频率，典型的天地一体化信息网络考虑只建立接入网与主干网之间物理连接，使得该类拓扑主要发生在接入网和主干网边界路由器之间。尽管如此，该类拓扑变化的发生周期仍是秒级的[7]。这类拓扑变化是空间网络和地面网络的显著不同点，频繁的空间网络链路切换使得天地一体化信息网络路由融合面临一系列挑战。
1.2 研究进展随着星上设备路由转发能力的提高和地面互联网业务的发展，空间网络与地面互联网之间的角色关系发生明显变化，从彼此独立，到网络接入，再到互联融合。相应地，路由方案可分为以下3种。
1) 将卫星网络视为一个独立的网络[8-12]，为不同卫星系统分别设计专用的路由方案。例如，基于快照的路由方案[8-9]、“虚拟节点”路由方案[10]、多层星座路由方案[11-12]等。该类路由方案将空间网络考虑成一个独立于地面网络的网络系统，导致空间网络不具有地面网络的路由信息。当空间网络用户与地面网络用户进行通信时，需要对所有通信数据包进行额外封装处理(如隧道封装)，才能实现天、地网络间的数据转发。不然，空间网络不知道将发往地面网络的数据包转到何处。这导致空间网络与地面网络融合时会有较大的开销。以常用的GRE(generic routing encapsulation)隧道封装为例，每个IPv4数据包要增加20 B新IPv4包头和4 B GRE封装包头的开销，每个IPv6数据包要40 B新IPv6包头和4 B GRE封装包头的开销。对单个数据包而言，该开销似乎并不是很大，但对于传输成百上千兆字节的数据而言，开销是非常大的。此外，空间网络与地面网络互联的网关需要对天、地用户通信的所有数据包进行封装/解封装操作。该网关转换发生的主要原因是，空间网络因缺少地面网络的路由信息而无法转发数据包。如果空间网络采用地面路由信息转发IP报文，如后续介绍的类型2和3空间网络，则不需要网关转换。
2) 随着无线通信网络3G/4G/5G发展，许多研究成果提出将卫星网络作为地面网络的接入网络，向用户提供接入功能[13-15]。研究方案主要考虑如何利用互联网域间路由技术接入各类用户网络，例如ETSI(欧洲电信标准协会)提出宽带卫星多媒体(BSM)系统[14-15]，利用互联网路由技术接入各类用户网。该类路由方案过度依赖地面站的全球化部署，严重限制了网络的覆盖范围和通信能力：一方面，地面站的部署受陆地范围和国家国情限制，难以全球化部署，限制了卫星服务范围；另一方面，数据转发需要地面站的参与，甚至相同卫星下的不同用户间通信都需经过地面站的转发，极大限制卫星的服务能力。
3) 通过互联网技术将各类卫星网络互联成类似地面互联网的、覆盖全球的空间网络，并实现天、地多网络融合。代表性网络系统有美国的TAST规划[16]和中国“科技创新2030”的天地一体化信息网络项目[1-2]。针对该类型的天地一体化信息网络，相关研究主要考虑如何将成熟的地面互联网路由技术扩展到空间网络中[5-6, 17-21]。文[5-6, 18]分析互联网路由协议在空间网络的性能，并提出空间网络拓扑的高动态性严重损耗互联网路由协议的性能。Yang等[6]针对空间拓扑频繁变化问题，通过合并网络拓扑变化的发生时间，减少拓扑变化次数，进而减少BGP路由更新频率。但该方案仅优化了空间网络拓扑特征，不涉及BGP协议本身的优化。Yang等[19]利用空间网络拓扑变化的可预测性，提出一种网络拓扑预感知和分布式路由协议协作的方案，方案利用“拓扑发现子层”将空间网络可预测拓扑主动告知路由协议，避免路由协议被动进行网络拓扑发现。但该研究主要提出抽象架构，并未详细给出路由协议的扩展内容。Chertov等[20]针对星地链路临时性中断对BGP邻居关系的影响，提出通过延长BGP邻居关系保持时间来减少BGP邻居关系变化频率的方法。但该方法不适应频繁切换的空间链路，主要因为链路切换需要快速识别链路变化，触发路由更新，以减少路由收敛时间。为减少空间网络频繁的链路切换对域间路由协议的影响，Xu等[21]提出域间路由协议BGP+，通过保存历史路由信息的方式，减少BGP邻居关系重新建立时的报文开销。但该方案仍依赖频繁的路由更新向域内其他路由器或其他自治域宣告新网络拓扑，同时消耗大量星上存储来保存历史路由信息。
本文工作属于第3种路由方案研究，主要研究目标是以较小的开销来解决传统域间路由协议融合天地各类异构网络时面临的技术挑战。
1.3 域间路由协议在天地网络融合时面临的挑战BGP是互联网中广泛使用的域间路由协议，用以互联各类独立的自治域[5]。BGP通过BGP邻居关系建立自治域间的邻居关系，依托Hello协议维护域间邻居关系，并采用路由更新方式向全网宣告自治域的路由前缀信息，以生成指导数据转发的转发表(forward information database, FIB)。考虑到互联网的域间网络拓扑相对固定，传统BGP的设计和部署一般与网络拓扑紧耦合，即BGP工作状态与网络拓扑变化具有紧密映射关系。当网络拓扑发生变化时，BGP邻居关系随之变化同时触发路由更新，以维护各路由器的转发表与真实网络拓扑一致。然而，空间网络的物理链路频繁切换，导致传统BGP面临一些性能问题。
1) 域间邻居关系频繁通断：当链路切换发生时，旧BGP邻居关系中断，同时BGP实体(边界路由器上的BGP进程)通过交互Open消息在新建链路上建立新邻居关系。以图 2为例，当BGP实体B0断开与A0物理连接并与A2建立新连接时，B0与A0间的BGP邻居关系将断开，同时建立B0与A2之间的新邻居关系。根据文[6]，在包含10个主干网边界路由器和78个接入网边界路由器的网络规模下，BGP邻居关系变化频率可达41.4 s一次。BGP邻居关系的频繁通断，直接造成自治域间邻居关系的不稳定，进而频繁触发路由更新, 消耗卫星上有限的计算资源和带宽。
 |
| 图 2 传统BGP的邻居发现机制 |
| 图选项 |
2) 路由更新频繁触发：路由更新用以保持路由器转发表与真实网络拓扑一致。当链路发生切换时，BGP实体触发路由更新，向全网重新扩散路由前缀信息。以图 2为例，当BGP实体B0断开与A0物理连接并与A2建立新连接时，A0将向全网撤销AS1路由前缀信息，A2将向全网重新宣告AS1路由前缀信息，路由器收到消息后更新各自的转发表，使得到达AS1路由前缀信息的路径是经过A2而非A0。频繁触发的路由更新将严重损耗空间网络服务能力，浪费计算、存储、带宽等有限的卫星资源，且随着网络规模的增加，影响急剧加剧[6]。
3) 损耗地面网络稳定性：由于空间网络与地面网络是融合一体的网络，空间网络触发的BGP邻居关系变化和路由更新将自动扩散到整个地面网络上，地面网络将不断删除/添加空间网络的路由前缀信息，严重损耗了地面网络的稳定性。
2 NTD-BGP的设计与实现本文在传统BGP基础上提出NTD-BGP，通过引入独立于物理拓扑变化的域间邻居发现机制和主动路由更新模块，对网络拓扑与域间邻居关系和路由更新之间映射关系进行解耦，保持了域间邻居关系稳定性，实现了快速路由更新。最后，给出基于一款开源路由软Quagga[7] 1.2.4设计和实现的NTD-BGP系统架构。
2.1 独立物理拓扑变化的邻居发现机制NTD-BGP利用BGP邻居关系是TCP连接的特点，建立独立于物理链路变化的域间邻居关系。首先，NTD-BGP建立基于路由器回环地址的BGP邻居关系。由于回环地址是虚拟地址且随着路由器长期运行，BGP邻居关系的地址标识不受物理链路变化的影响。
然后，NTD-BGP部署BGP邻居关系的传输路径，实现BGP实体间的控制报文传输。当边界路由器间物理连接发生改变，NTD-BGP快速更新传输路径至新物理链路上，保持域间邻居关系不变。如图 3所示，当B0与A0断开物理连接且与A2建立物理连接时，B0与A0的BGP邻居关系始终保持不变，只是传输路径被更新为路径(A0, A2, B0)。邻居关系传输路径的更新将由后文介绍的NTD-BGP路由更新机制来实现。且NTD-BGP路由更新机制保持了域间路由的最优性，即AS0中所有路由器到达AS1的用户数据直接从A2传输到自治域AS1。
 |
| 图 3 NTD-BGP的邻居发现机制 |
| 图选项 |
2.2 主动路由更新模块不同于传统BGP通过不断撤销/重新宣告路由前缀的方式实现路由更新，NTD-BGP利用路由器FIB和路由表分离特点，通过直接修改FIB的方式实现主动路由更新。NTD-BGP主动路由更新机制包括以下3步：第1步，NTD-BGP引入一张域间拓扑路由表(peer_level loc-RIB)，实时记录着本自治域到达邻居自治域边界路由器的路由信息。第2步，NTD-BGP提前计算出一个时间周期内的边界路由器间链路变化信息，存储到各个路由器中。当物理链路发生变化时，NTD-BGP利用提前计算的边界路由器间链路变化信息来更新域间拓扑路由表。第3步，NTD-BGP利用路由器RTM (routing table manager)模块，汇总域间拓扑路由表、域内路由表、传统BGP路由表，计算出传统BGP路由表的FIB。其中第2和3步为NTD-BGP主动路由更新机制的关键两步。
在第2步中，NTD-BGP利用边界路由器间链路连接关系变化的预测信息实时更新域间拓扑路由表。其中，边界路由器间链路连接关系变化的预测对整个路由机制的可靠性至关重要。文[19]曾专门研究如何预测空间路由器间链路连接关系变化，其实现过程主要包括3点。首先，根据空间卫星的运动可预测性，精确地计算出空间路由器的实时位置；然后，利用空间路由器间的相对时空位置，建立数学匹配模型，计算出空间路由器间链路连接关系的变化时间以及生成新的链路连接关系；最后，在利用空间路由器上的“拓扑发现子层”模块来验证链路是否成功建立。如果NTD-BGP接收到链路连接关系预测失败的信息，其则放弃自己的主动路由更新过程，转而进入传统BGP的路由更新过程，即断开并重建BGP邻居关系和触发传统路由更新。
第3步中，RTM决策的2个原则为：
1) 对于任意路由表项(dst, nh)，当且仅当表项中下一跳nh是本路由器的邻居节点，RTM才生成到达目的dst的FIB表项(dst, nh)。
2) 如果存在FIB表项(dst, nh)和任意路由表项(dst_ dst, dst)，RTM将生成新FIB表项(dst_ dst, nh)。
RTM的决策过程分为2个阶段：第1阶段，RTM根据域间拓扑路由表和域内路由表(如OSPF路由表)，生成到达邻居自治域边界路由器的FIB表项；第2阶段，RTM根据第1阶段生成的FIB表项和传统BGP路由表，生成传统BGP路由表的FIB表项。接下来，以图 3b中的路由器A1为例，当B0与A0断开物理连接且B0与A2建立物理连接时，A1逐步更新其到达AS1边界路由器B0的FIB表项和关于AS1的BGP路由信息的FIB表项，如图 4所示。在第1阶段中，RTM计算出到达B0的FIB表项，并更新BGP邻居关系的传输路径。当物理链路发生变化时，在域间拓扑路由表中，A1到达B0的路由从(B0，A0)更新为(B0, A2)。RTM利用域内路由表中的表项(A2，A2)，计算出到达时B0对应的FIB表项(B0, A2)。同时，在域间拓扑路由表中的旧表项(B0，A0)被删除之后，RTM自动清除对应的旧FIB表项。RTM是路由器广泛应用的模块，工作性能极高，决策时间非常小(可达ns级[22])，因此AS0所有路由器很快完成此阶段。在该阶段完成后，AS0内所有路由器都更新了到达B0的路由，域间邻居关系的传输路径也自动更新到新链路上。在第2阶段中，RTM根据BGP路由表中的路由前缀信息和到达B0的FIB表项，计算出B0所宣告路由前缀的FIB表项，从而A1完成BGP路由更新。当AS0中所有路由器均完成此阶段，NTD-BGP实现路由更新。
 |
| 图 4 RTM决策过程的示例 |
| 图选项 |
2.3 NTD-BGP的系统结构图 5给出NTD-BGP的系统结构图，其中操作1—7为传统BGP的路由决策过程；操作10—14为NTD-BGP的主动路由更新模块，两者通过RTM进行融合。这些操作分别从路由协议接收到邻居自治域的路由前缀信息(Adj_RIB_In)和域间拓扑关系(connection)开始，到向其他自治域扩散路由前缀信息(Adj_RIB_Out)和生成FIB结束。NTD-BGP详细执行过程如下：
 |
| 图 5 NTD-BGP的系统结构图 |
| 图选项 |
操作1??对从邻居BGP实体接收的所有路由前缀信息进行过滤。
操作2??输出过滤后的路由前缀信息，即输出路由属性发生变化的路由前缀信息。
操作3??根据自治域独立配置的BGP策略，进行路由决策，选择出到达属性变化的路由前缀信息的最佳路由。
操作4??生成BGP LOC-RIB(BGP路由表数据库)。
操作5??将BGP LOC-RIB输入BGP出站路由过滤器(BGP outbound filtering)，判断路由前缀信息是否需要对外宣告。
操作6??将过滤后的路由前缀信息宣告给其他邻居BGP实体。至此，完成了BGP自治域间路由信息共享，以及应对不可预测链路中断。
操作7??将BGP LOC-RIB输入RTM。
操作8??将IGP LOC-RIB(域内路由协议路由表数据库，如OSPF路由表数据库)输入RTM。
操作9??对于物理拓扑与BGP邻居关系和路由更新相映射的传统BGP，RTM根据BGP LOC-RIB和IGP LOC-RIB生成有效的FIB表；但对网络拓扑解耦的NTD-BGP，要生成对应路由前缀的有效FIB表项，还需要到达邻居边界路由器的有效路由信息。后续操作，将详细分析NTD-BGP主动路由更新模块如何生成对应路由前缀的有效转发表。
操作10??当网络拓扑变化的发生时间到达时，NTD-BGP的主动路由更新模块获得域间网络拓扑的变化信息，并输入链路连接过滤器(connection filtering)中，筛选出发生变化的物理链路。
操作11??输出发生变化的链路连接信息，包括链路通断信息、链路连接的边界路由器信息等。
操作12??将发生变化的链路连接信息输入至网络拓扑预测决策机制(network topology prediction decision process)模块，以生成本自治域到达邻居自治域边界路由器的路由信息，包括对应中断链路的旧路由信息和对重建链路的新路由信息。
操作13??将生成的域间拓扑路由表存储到数据库中(Peer_level LOC-RIB)，其中，旧路由信息因被删除而不存在，替换为新路由信息。对于自治域内所有路由器，其存储域间拓扑路由表都相同。
操作14??将Peer_level LOC-RIB输入RTM，RTM根据Peer_level LOC-RIB修改BGP路由信息，生成对应路由前缀的FIB。
2.4 讨论NTD-BGP利用回环地址建立BGP邻居关系，有效避免了域间邻居关系的标识随物理链路切换而改变，为后续协议设计提供了基础。同时，NTD-BGP不影响回环地址被路由器内的其他程序所使用，保证了NTD-BGP的兼容性。对于IPv6路由器，虚接口支持多个回环地址配置，天然地保证了NTD-BGP的兼容性。对于IPv4路由器，NTD-BGP将回环地址的默认地址修改为全局地址，此时，其他程序可直接使用全局地址或以默认域名“localhost”的方式使用回环地址。甚至可以通过创建虚拟网卡的方式在路由器上保留一个回环地址的默认地址。
NTD-BGP路由更新机制通过引入域间拓扑路由表的方式，实现了邻居关系传输的更新以及快速路由更新。由于域间拓扑路由表中记录的是到达邻居边界路由器的路由信息而非邻居边界路由器宣告路由前缀的路由信息，开销是很小的，大小主要跟边界路由器数量成正比，一个边界路由器对应一个表项。该方案有效降低了对卫星计算能力和存储能力的要求，并能减少卫星上的能源消耗，延长卫星的使用寿命。
另外，当物理链路变化预测失败时，NTD-BGP可像传统BGP一样工作，即断开并重建BGP邻居关系，并触发传统BGP路由更新。以图 3b为例，在NTD-BGP中，若链路变化预测失败，A0断开与B0的邻居关系，撤销到达AS1的路由前缀信息，同时B0建立与A2的邻居关系，重新宣告到达AS1的路由前缀信息。
3 试验验证3.1 试验场景设计本文采用真实卫星数据和NTD-BGP原型系统，验证NTD-BGP协议的有效性。
根据天地一体化信息网络规划方案[2]，本文从Inmarsat高轨卫星系统[23]、CERNET2本土地面网络[24]、Iridium低轨卫星系统[25]等多个实际运行系统中选取节点参数，构建天地一体化信息网络试验场景。考虑到天地一体化信息网络是逐步建成的，本文试验了5种不同网络规模的场景，其中，Inmarsat高轨卫星数依次为4、4、4、5、5；位于北京、上海、广州、哈尔滨、兰州等CERNET2核心路由器位置的地面站数保持为5；分布在Iridium的6个轨道平面中卫星数依次为6、12、12、12、18(从每轨道平面11颗卫星中随机选择出1~3个低轨卫星作为边界路由器)；以及每个低轨卫星宣告的路由前缀数依次为1、10、100、100、100。根据每个场景的网络参数，利用卫星工具箱(STK)软件，生成真实的星历数据，进而计算出链路通断及链路时延。链路带宽和链路误码率根据天地一体化信息网络规划方案设定。每个场景下的试验时长为高轨卫星回归周期，即24 h(86 400 s)。
图 6为场景1下的、5 158 s时的网络拓扑结构。其中，G1—G4为GEO卫星；G5—G9为地面站；每个Iridium轨道平面选择一个边界路由器。此时，轨道平面2的边界路由器正断开与G2的旧链路并与G3建立新链路。
 |
| 图 6 场景1的5 158 s |
| 图选项 |
为了真实的验证路由协议性能，并摆脱硬件规模限制，利用Mininet软件[26]搭建天地一体化信息网络试验环境，并部署真实的路由协议。Mininet将一台路由器扩展成多台虚拟路由器，每个虚拟路由器的工作方式跟真实路由器几乎一样，包括协议信息交互、数据转发等各方面。根据天地一体化信息网络的星历数据，试验环境通过不断改变虚拟路由器间互联关系来真实模拟天地一体化信息网络。
目前，天地一体化信息网络域间路由协议主要包括BGP[5-6, 18-20]和BGP+[21]。相比传统BGP，BGP+主要贡献是减少了BGP邻居关系重建时的报文开销，且BGP+代码并未公开，难以实际部署。本文主要采用BGP作为对比对象。
3.2 协议性能分析本文选取4个关键指标评估NTD-BGP与传统BGP的性能，分别是邻居关系变化次数、路由收敛时间、网络稳定性、地面网络受到影响次数。其中，网络稳定性是指网络中连续两次链路切换的时间段内路由协议处于收敛状态的时间除以连续两次链路切换的时间段；地面网络受到影响次数是指地面网络在试验周期内收到空间网络撤销和宣告的路由更新数量。
从表 1中可以看出，随着网络规模增加，BGP性能会越来越差，NTD-BGP的性能一直很好。接下来，详细对比分析两种协议的表现：
表 1 不同场景下BGP与NTD-BGP工作性能对比
| 指标 | 路由协议 | 场景1 高轨卫星4 低轨卫星6 路由前缀1 | 场景2 高轨卫星4 低轨卫星12 路由前缀10 | 场景3 高轨卫星4 低轨卫星12 路由前缀100 | 场景4 高轨卫星5 低轨卫星12 路由前缀100 | 场景5 高轨卫星5 低轨卫星18 路由前缀100 |
| 域间邻居关系变化次数 | BGP | 199 | 400 | 400 | 400 | 594 |
| NTD-BGP | 0 | 0 | 0 | 0 | 0 | |
| 路由协议收敛时间/s | BGP | 19.6 | 21.7 | 21.5 | 33.0 | 33.8 |
| NTD-BGP | 0.6 | 0.6 | 0.6 | 0.7 | 0.6 | |
| 网路稳定性/% | BGP | 80.4 | 78.3 | 78.5 | 66.9 | 66.2 |
| NTD-BGP | 99.6 | 99.6 | 99.6 | 99.6 | 99.6 | |
| 地面网络受到影响次数 | BGP | 191 | 377 | 378 | 359 | 480 |
| NTD-BGP | 0 | 0 | 0 | 0 | 0 |
表选项
1) NTD-BGP的域间邻居关系变化次数几乎为0，而BGP的域间邻居关系随网络规模不断增加。这是因为，在每次网络拓扑发生变化时，BGP都需要断开并重建其邻居关系，而NTD-BGP仅更新BGP邻居关系的传输路径，保持了域间邻居关系不变。
2) NTD-BGP的平均路由收敛时间小于1 s，比BGP的缩短了20~30 s。这是因为BGP需要逐跳向全网扩散自治域的路由前缀信息来更新路由器转发表，而NTD-BGP可根据拓扑预测的结果快速更新路由器转发表。
3) 在路由稳定性方面，NTD-BGP达到了接近100%的稳定性，而BGP仅为66.2%~80.4%。
4) 在天地融合方面，NTD-BGP能保护地面网络免受空间网络动态性的影响。在NTD-BGP下地面网络收到影响次数几乎为0，而在BGP下地面网络收到191 ~ 480次影响。这是因为NTD-BGP保持了BGP邻居关系稳定，不需要触发分布式路由更新，而BGP会将其触发路由更新扩散到地面网络中。本文注意到，地面网络受到影响次数小于BGP邻居关系变化数量，这是由于多个临近触发的路由更新在消息传播过程被聚合成一个路由更新消息。
图 7和8分别显示了当网络规模为场景1时的路由收敛时间和网络稳定性。试验结果表明，BGP的路由收敛时间都很大、网络稳定性很低，且波动很大，而NTD-BGP表现都很好。该文注意到，在某些时刻下，NTD-BGP在保持路由收敛时间很低情况下却降低了网络稳定性。这是因为两次链路切换的时间间隔太短(约1 s)，网络稳定性相对变小。此时，BGP的网络稳定性几乎为0，即前一次拓扑变化对应的路由更新尚未收敛，后续路由更新又被触发了。
 |
| 图 7 路由收敛时间随时间变化情况 |
| 图选项 |
 |
| 图 8 网络稳定性随时间变化情况 |
| 图选项 |
先前的试验结果表明了在理想状态下的NTD-BGP的性能非常好。NTD-BGP通过解耦网络拓扑和BGP邻居关系和路由更新之间的映射关系，有效避免了频繁链路连接关系变化对域间邻居关系和路由更新的影响，取得了预期的效果。
接下来分析极端情况的NTD-BGP性能。图 9给出当网络规模为场景1时的NTD-BGP性能与链路连接关系预测误差之间关系。可以看出，随着链路连接关系预测误差的增加，域间邻居关系变化次数呈线性增加。当链路连接关系预测完全失效(误差为100%)时，NTD-BGP则演变成传统BGP。也就是像传统BGP一样进行域间邻居关系断开/重建和触发传统路由更新。
 |
| 图 9 BGP和NTD-BGP的性能随着链路连接关系预测误差的变化情况 |
| 图选项 |
3.3 协议开销分析本节主要对比分析NTD-BGP和传统BGP的性能开销。其中，选取了边界路由器间链路变化次数和路由表项相对数量两个关键指标。边界路由器间链路变化次数是指边界路由器间的所有链路在试验周期内发生变化的总数，每次链路变化对应一份拓扑预测的信息存储开销；路由表项相对数量是指所有路由器在单位试验时间内存储的路由表项总数除以所有路由器在路由收敛状态下存储的路由表项总数。路由收敛状态为理想状态，此时所有路由器保存的路由表项总数为最佳值(路由表项总数大于或小于该值，路由协议均非最优)，其路由表项相对数量为1。
图 10显示在不同试验场景下，NTD-BGP需要存储一定量的边界路由器间链路变化信息，而BGP不需要存储该信息，链路变化信息的存储量为0。随着接入网边界路由器数量的增加，NTD-BGP需要存储的链路变化次数成线性增加。这主要因为边界路由器数量增加会导致链路切换次数近似线性增加。
 |
| 图 10 不同场景下BGP和NTD-BGP需存储的边界路由器间链路变化次数 |
| 图选项 |
图 11给出BGP、NTD-BGP下的路由表项相对数在不同试验场景的变化情况。NTD-BGP的结果随着网络规模增加逐渐接近路由收敛状态的数值(接近1)，这主要由两个因素导致的。首先，NTD-BGP引起的路由表项开销的数量较少，且受网络规模变化的影响较小；其次，随着网络规模增加，特别是路由前缀数量的增加，路由表总量会大幅增加。这两个因素导致NTD-BGP路由表项开销相对变小。本文发现BGP的路由表项相对数量小于1，即网络中所有路由器在单位试验时间内保存的路由表项总数小于所有路由器在路由收敛状态下保存的路由表项总数，这主要因为BGP的路由收敛过程会导致某些路由器缺少部分路由表项。
 |
| 图 11 不同场景下的BGP和NTD-BGP路由表项相对数量 |
| 图选项 |
4 结论针对天地一体化融合时空间网络高动态特性对传统域间路由协议的影响，本文设计并实现了一种网络拓扑解耦的边界网关协议NTD-BGP。首先，本文在传统BGP基础上，引入独立于物理链路变化的BGP邻居关系，保持了域间邻居关系稳定，同时引入主动路由更新模块，实现了快速路由更新，保证了路由最优性。然后，基于开源路由软件Quagga 1.2.4，本文实现了NTD-BGP的原型系统。最后，利用真实卫星数据开展NTD-BGP的试验验证。试验结果表明：NTD-BGP能有效避免BGP邻居关系发生变化和对地面互联网产生影响，并能在1 s内快速完成全网的路由更新，达到99%以上的稳定性，性能远优于BGP。且随着网络规模增加，NTD-BGP的信息存储开销呈线性增加，但长期留在路由器中的路由表开销却相对逐渐降低。
下一步将研究如何压缩卫星上的信息存储开销和进一步减少路由收敛时间。由于卫星运动具有周期性，边界路由器间链路连接关系的变化信息也具有一定的重复规律，可以考虑利用该周期性来减少星上的信息存储。同时，考虑采用常用硬件技术TCAM (ternary content-addressable memory)来实现空间边界路由器的转发平面，进而通过优化路由表写入TCAM的策略来进一步减少路由收敛时间。
参考文献
| [1] | 中华人民共和国国务院.国务院关于印发"十三五"国家科技创新规划的通知[EB/OL]. (2016-07-28)[2018-11-11]. http://www.gov.cn/zhengce/content/2016-08/08/content_5098072.htm. State Council of the People's Republic of China. Circular of the State Council on Issuing the National Scientific and Technological Innovation Planning for the 13th Five Years[EB/OL]. (2016-07-28)[2018-11-11]. http://www.gov.cn/zhengce/content/2016-08/08/content_5098072.htm. (in Chinese) |
| [2] | 李贺武, 吴茜, 徐恪, 等. 天地一体化信息网络研究进展与趋势[J]. 科技导报, 2016, 34(14): 95-106. LI H W, WU Q, XU K, et al. Progress and tendency of space and earth integrated network[J]. Science and Technology Review, 2016, 34(14): 95-106. (in Chinese) |
| [3] | 吴曼青, 吴巍, 周彬, 等. 天地一体化信息网络总体架构设想[J]. 卫星与网络, 2016(3): 30-36. WU M Q, WU W, ZHOU B, et al. Thinking on the architecture of integrated terrestrial-satellite network[J]. Satellite and Network, 2016(3): 30-36. DOI:10.3969/j.issn.1672-965X.2016.03.004 (in Chinese) |
| [4] | REKHTER Y, LI T, HARES S, A border gateway protocol 4(BGP-4): RFC4271[S]. Fremont, CA: IETF, 2006. |
| [5] | ETEFIA B, SWAMINATHAN V, TRAIN J, et al. Emulating a space-based router[C]//Proceedings of Aerospace Conference. Piscataway, NJ: IEEE Press, 2010: 1-14. https://ieeexplore.ieee.org/document/5446938 |
| [6] | YANG Z Y, LI H W, WU Q, et al. Analyzing and optimizing BGP stability in future satellite internet[C]//Proceedings of International Performance Computing and Communications Conference. Piscataway, NJ: IEEE Press, 2017: 1-8. https://www.computer.org/csdl/proceedings-article/ipccc/2017/08280463/12OmNBQC8bt |
| [7] | JAKMA P, LAMPARTER D. Introduction to the Quagga routing suite[J]. IEEE Network, 2014, 28(2): 42-48. DOI:10.1109/MNET.2014.6786612 |
| [8] | WERNER M. A dynamic routing concept for ATM-based satellite personal communication networks[J]. IEEE Journal on Selected Areas in Communications, 1997, 15(8): 1636-1648. DOI:10.1109/49.634801 |
| [9] | WERNER M, DELUCCHI C. ATM-based routing in LEO/MEO satellite networks with inter-satellite links[J]. IEEE Journal on Selected Areas in Communications, 1997, 15(1): 69-82. DOI:10.1109/49.553679 |
| [10] | EKICI E, AKYILDIZ I F, BENDER M D. A distributed routing algorithm for datagram traffic in LEO satellite networks[J]. IEEE/ACM Transactions on Networking, 2001, 9(2): 137-147. DOI:10.1109/90.917071 |
| [11] | AKYILDIZ I F, EKICI E, BENDER M D. MLSR:A novel routing algorithm for multilayered satellite IP networks[J]. IEEE/ACM Transactions on Networking, 2002, 10(3): 411-424. DOI:10.1109/TNET.2002.1012371 |
| [12] | CHEN C, EKICI E. A routing protocol for hierarchical LEO/MEO satellite IP networks[J]. Wireless Networks, 2005, 11(4): 507-521. |
| [13] | TRAIN J, ETEFIA B, GREEN H. Hub and spoke BGP: Leveraging multicast to improve wireless inter-domain routing[C]//Proceedings of Aerospace Conference. Piscataway, NJ: IEEE Press, 2010: 1-7. https://ieeexplore.ieee.org/document/5446936 |
| [14] | ETSI. Satellite earth stations and systems (SES); Broadband satellite multimedia (BSM); Guidelines for the satellite independent service access point (SI-SAP) use: ETSI TR 103444 V1.1.1[S]. Sophia-Antipolis, France: ETSI, 2016. |
| [15] | ETSI. Satellite earth stations and systems (SES); Broadband satellite multimedia (BSM) services and architectures; Functional architecture for IP interworking with BSM networks: ETSI TS 102292[S]. Sophia-Antipolis, France: ETSI, 2015. |
| [16] | STROUND D M, TRAN P P. Enabling transformation with TSAT[C]//Proceedings of Military Communications Conference. Piscataway, NJ: IEEE Press, 2006: 183-188. https://ieeexplore.ieee.org/document/1605683 |
| [17] | YANG Y, XU M W, WANG D, et al. Towards energy-efficient routing in satellite networks[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(12): 3869-3886. DOI:10.1109/JSAC.2016.2611860 |
| [18] | BERSON S, JIN Y. Effect of mobility on future satellite packet networks routing protocols[C]//Proceedings of Aerospace Conference. Piscataway, NJ: IEEE Press, 2009: 1-6. https://ieeexplore.ieee.org/document/4839387 |
| [19] | YANG Z Y, LI H, Wu Q, et al. Topology discovery sub-layer for integrated terrestrial-satellite network routing schemes[J]. China Communications, 2018, 15(6): 42-57. |
| [20] | CHERTOV R, ALMEROTH K. Using BGP in a satellite-based challenged network environment[C]//Sensor Mesh and Ad Hoc Communications and Networks. Piscataway, NJ: IEEE Press, 2010: 1-9. https://ieeexplore.ieee.org/document/5508268 |
| [21] | 徐明伟, 杨芫, 林恒.一种基于路由校验的边界网关协议的路由更新方法: 2016102845514[P]. 2016-08-31. XU M W, YANG Y, LIN H. A routing update method of border gateway protocol based on routing check: 2016102845514[P]. 2016-08-31. (in Chinese) |
| [22] | NGUYEN K K, JAUMARD B, AGARWAL A. A distributed and scalable routing table manager for the next generation of IP routers[J]. IEEE Network, 2008, 22(2): 6-14. DOI:10.1109/MNET.2008.4476065 |
| [23] | WIKIMEDIA F I. Inmarsat[Z/OL]. (2018-11-8)[2018-11-11]. https://en.wikipedia.org/wiki/Inmarsat. |
| [24] | WU J P, WANG J H, YANG J H. CNGI-CERNET2:An IPv6 deployment in China[J]. ACM SIGCOMM Computer Communication Review, 2011, 41(2): 48-52. DOI:10.1145/1971162 |
| [25] | IRIDIUM. 2017 annual report[R]. McLean, VA: Iridium Communications Inc., 2018. |
| [26] | LANTZ B, HELLER B, MCKEOWN N. A network in a laptop: Rapid prototyping for software-defined networks[C]//ACM Workshop on Hot Topics in Networks. New York, NY: ACM Press, 2010: 1-6. |
