为了保证训练效果，直升机森林灭火训练要尽可能与真实灭火任务在流程和细节上一致。目前采用的训练方法主要有2种：一种是实战训练，这种方法需要消耗较多人力和资源，训练条件很难满足且组织费时，但训练环境与实际任务相近，训练效果很好；另一种是基于仿真的训练 (Simulation Based Training，SBT)，这种方法结合虚拟仿真、计算机网络等技术，搭建出分布式仿真训练器用于灭火训练，虽然训练效果不如实战训练，但训练成本低、可重复训练、受环境限制少的特点使其成为目前直升机森林灭火训练方法的发展趋势。无论采用何种训练方法，训练效能的评估都是很重要的一个问题。对训练效能的评估不仅可以了解受训人员目前对灭火技能的掌握情况，还能指导调整训练方案以弥补受训人员的技能“短板”，对提高受训人员任务能力具有重要意义。国外很多****对此进行过探讨，Tadashi等[2]在直升机灭火对比试验中使用洒水覆盖面积、洒水覆盖度2个要素衡量灭火效果；Satoh等[3]提出对火势的有效控制是灭火能力的一种体现，即需要制定适当的灭火方案；Arents等[4]认为灭火过程中人员间需要语言等信息交流，人员的行动配合将影响灭火任务的成功执行，但这些方法都是针对训练效能的某个方面，或者判断完全依赖意识，未能形成有标准、成体系的评估方法。在国内，陈孝明等[5]使用柯式四级评估法构建了直升机应急救援任务训练效能的评估模型，并给出了直升机森林灭火训练效能的层级评估指标体系，但此评估模型仅能用于评估灭火行动的效能，未考虑到灭火训练的其他环节，同时灭火任务的复杂性使得效能评估指标间存在相互影响，这个问题在模型中也被忽略。因此对直升机森林灭火训练效能的评估、评估指标体系的构建和评估方法的设计仍需要进一步研究。
本文在分析现有训练效能评估方法的不足基础上，考虑训练任务的过程性因素对最终任务效能的贡献以及各评估指标间的非独立关系，提出了基于事件活动流和网络分析法 (Analytic Network Process，ANP) 的直升机单机森林灭火训练效能评估方法。事件活动流形态的任务模型引入离散事件系统建模思想，将直升机单机森林灭火训练任务分解为分布在时间序列上的若干事件与活动，并从各个活动中映射和提取效能评估指标，保证训练任务的过程性因素参与最终效能的评估，评估指标体系更加全面、合理；采用ANP的效能评估尽管仍然依赖于专家主观判断，但却充分考虑了评估指标间的依赖和影响关系，评估模型更符合任务实际状态，评估结果的可信度较高。最后，本文使用超级决策 (Super Decisions，SD) 软件给出具体的案例分析以验证评估方法的可用性和有效性。
1 直升机森林灭火训练的任务模型构建 1.1 事件活动流形态的任务模型 直升机森林灭火训练的效能评估本质上是一个多指标综合评价问题。因此指标体系的构建是评估的关键问题之一，也是评估科学性与合理性的基础[6]。在进行评估之前，有必要了解和分析直升机森林灭火的任务流程和内容等信息，构建任务模型，从而整体上把握描述训练效能的方法，确保指标体系的构建全面、合理。
直升机森林灭火是一种具有明显过程性特征的任务，从接收火灾警报到组织人员和设备，再到派遣直升机取水灭火直至任务完成，其是由具有时序性的若干个任务流程组成的，这种任务的过程性因素对任务效能的影响不能忽略[7]。事件活动流形态的任务模型将有利于分析影响各任务流程执行的因素及流程间的转移关系，并用过程性变量表征最终的任务效能。
事件活动流来源于离散事件系统建模理论。事件和活动是离散事件系统中的2个基本概念，事件是驱动离散事件系统状态发生变化的唯一原因，而活动通常用于表示2个逻辑相关的相邻事件之间的过程[8-9]。因此离散事件系统可以分解为若干个“事件-活动-事件”结构的基本单元，单元间由共同事件连接，这样就形成了系统的事件活动流。显然，直升机森林灭火满足离散事件系统的定义，可以构建出相应的事件活动流。
依据我国某直升机研究所及若干直升机应用单位联合制定的《直升机森林灭火任务训练大纲》和相关文献资料，构建直升机森林灭火的事件活动流如表 1和图 1所示。图 1中矩形表示的事件为判断事件，任务中只能选择判断事件之后的一个活动执行。
表 1 各事件和活动的内容 Table 1 Content of each event and activity
| 事件Ei | 事件内容 | 活动Ai | 活动内容 |
| E1 | 火灾发生 | A1 | 火情上报 |
| E2 | 火灾应急预案响应 | A2 | 灭火指令传达 |
| E3 | 直升机组接受任务 | A3 | 灭火任务规划 |
| E4 | 任务规划完成 | A4 | 灭火设备检查 |
| E5 | 设备检查完成 | A5 | 机组前往水源取水 |
| E6 | 取水完成 | A6 | 空中洒水 |
| E7 | 判断火场是否扑灭 | A7 | 检查当前燃油量 |
| E8 | 判断是否补充燃油 | A8 | 返回机场补充燃油 |
| E9 | 燃油补充完成 | A9 | 机组返航 |
| E10 | 任务结束 |
表选项
 |
| 图 1 直升机森林灭火的事件活动流 Fig. 1 Event-activity flow of helicopter forest firefighting |
| 图选项 |
1.2 任务模型的简化 事件活动流将直升机森林灭火训练任务的所有事件和活动及其关系表示了出来，在此基础上可以进一步分析描述训练效能的过程性因素，构建相应的评估指标体系。但目前的事件活动流包含范围太大，且有不可控因素，难以对训练效能进行评估。因此，对直升机森林灭火训练的事件活动流简化如下：
1) 活动A1、A2与直升机森林灭火无关，所以相应的训练效能评估不考虑A1、A2的影响。
2) 较严重的森林火灾往往需要多架直升机协调配合，同时还要考虑资源和信息共享，训练效能评估更加复杂。因此本文只研究直升机单机森林灭火训练的效能评估，下文提及的直升机森林灭火均指单架直升机参与的森林灭火。
3) 国内外相关文献中提及的直升机森林灭火大多对应事件活动流中的活动A5~A9及其相关事件。为便于同其引用对比，将这些活动和事件定义为灭火活动Af。
直升机森林灭火训练的任务模型因此简化为A3、A4和Af 3个时序性的活动。
2 基于ANP的训练效能评估方法 在使用ANP评估直升机森林灭火训练效能时，指标的确定和筛选、ANP网络模型的建立和计算均依赖于专家的经验信息，因此首先需要建立专家系统。
本文的专家系统如表 2所示，其由参与相应课题研究的2名领域专家、2名博士研究生和1名硕士研究生组成，专家权重[10]采用群体成员集体评价方式确定和调整，并归一化至区间[0, 1]，取值越大表明专家对目标问题的判断信息可信度越大。
表 2 专家系统信息 Table 2 Information of expert system
| 序号 | 专家信息 | 专家权重 |
| 1 | 领域专家 | 0.83 |
| 2 | 领域专家 | 0.78 |
| 3 | 博士研究生 | 0.68 |
| 4 | 博士研究生 | 0.66 |
| 5 | 硕士研究生 | 0.55 |
表选项
2.1 基于活动映射的评估指标体系构建 直升机森林灭火的过程性特征使得在灭火训练中，最终的训练效能由各个活动的完成效果共同决定。本文提出基于活动映射的评估指标体系构建方法，在分析各活动内容的基础上确定描述各活动完成效果的方法，并映射为体现最终训练效能的评估指标，形成指标体系。
本文参考文献[5]提出的指标体系结构，并以其为基础，将各活动映射产生的评估指标分别归类到任务类指标和协同类指标中，形成了直升机森林灭火训练效能评估的两维度指标体系结构。指标体系的一个维度为时间维，表征各活动映射产生的评估指标在训练过程中出现的时序，这个维度将有助于ANP网络模型的建立及计算；另一个维度为层次维，保留文献[5]的指标分类方法，这个维度指标体系将具有清晰的层次结构。
映射指标时，对于活动Af，评估指标可以引用文献[5]的结果并加以修正；对于活动A3和A4，指标映射时主要从活动完成的时间和质量两方面考虑。完成指标映射后，构建直升机森林灭火训练效能的两维度评估指标体系如图 2所示。
 |
| 图 2 两维度效能评估指标体系 Fig. 2 Two-dimensional effectiveness evaluation index system |
| 图选项 |
然后对指标进行筛选。Delphi法是一种常用且有效的方法，参考文献[11]中Delphi法的具体操作流程对指标筛选，得到指标“特情处理质量”的归一化总重要度为0.022(小于0.05)，故剔除。最终，直升机森林灭火训练效能的层次化指标体系如图 3所示。
 |
| 图 3 最终的效能评估指标体系 Fig. 3 Final effectiveness evaluation index system |
| 图选项 |
2.2 基于专家信念和时间逻辑的ANP网络模型建立 ANP由美国Satty教授在其提出的层次分析法 (AHP) 基础上进一步发展而来，是一种能处理具有反馈和相关关系的复杂决策问题的定量化方法。与AHP相比，ANP在多指标综合评估中考虑了指标间的相互影响与依赖关系，因此能够描述和分析更复杂的评估问题，评估模型更符合问题实际，评估结果也比AHP合理[12-14]。
要使用ANP评估直升机森林灭火的训练效能，首先需要根据ANP网络模型的结构特点建立网络化评估指标体系，因此需要分析指标体系中各指标间的相关关系，并以适当的方式表达这种关系模型。而指标间的相关关系一般很难发现，只能借助专家根据个人知识和相关领域了解做出的主观判断。针对该问题，文献[10-11]中使用指标关联度定量描述指标间的相关关系，并采用专家信念图融合专家判断信息以构造指标关联度矩阵，将指标关联度矩阵图形化即可得到网络化的评估指标体系，其流程如图 4所示。
 |
| 图 4 网络化评估指标体系建立流程 Fig. 4 Process of establishing networked evaluation index system |
| 图选项 |
使用该方法可以建立直升机森林灭火训练效能评估的ANP网络模型。此外，由于直升机森林灭火训练中各活动具有时序性，所以在一次训练中位于时间下游的活动所映射出的指标无法对上游活动映射出的指标产生影响，即指标影响无法逆时间序列。时间逻辑的存在使得从指标体系的时间维上建立ANP网络模型更加方便，模型结构大大简化。由于模型建立过程中间数据过多，现仅将简化的指标关联度矩阵γ以表格形式列于表 3中，表中γi, j为指标Ii对指标Ij的关联度，指标编号与图 2中一致。
表 3 简化的指标关联度矩阵 Table 3 Simplified correlation matrix of indexes
| 指标 | γi, j | ||||||||
| I1 | I2 | I3 | I4 | I5 | I6 | I7 | I8 | I9 | |
| I1 | — | 0 | 0 | 0 | 0.7 | 0.7 | 0.9 | 0 | 0 |
| I2 | 0 | — | 0 | 0 | 0.8 | 0.8 | 0.9 | 0 | 0 |
| I3 | 0 | 0 | — | 0 | 0.6 | 0.7 | 0.9 | 0 | 0 |
| I4 | 0 | 0 | 0 | — | 0.7 | 0.8 | 0.8 | 0 | 0 |
| I5 | 0 | 0 | 0 | 0 | — | 0 | 0 | 0 | 0 |
| I6 | 0 | 0 | 0 | 0 | 0 | — | 0 | 0 | 0 |
| I7 | 0 | 0 | 0 | 0 | 0 | 0 | — | 0 | 0 |
| I8 | 0 | 0 | 0 | 0 | 0.9 | 0.8 | 0.8 | — | 0 |
| I9 | 0 | 0 | 0 | 0 | 0.6 | 0.9 | 0.8 | 0 | — |
表选项
再将指标关联度矩阵图形化。将活动A3、A4和Af映射产生的指标分别定义为指标簇C1、C2、C3，建立ANP网络模型如图 5所示。
 |
| 图 5 直升机森林灭火的ANP网络模型 Fig. 5 Network model of ANP for helicopter forest firefighting |
| 图选项 |
2.3 ANP模型计算 ANP模型计算的最终目的是得到各指标的权重。超矩阵、权矩阵、加权超矩阵和极限超矩阵是计算过程中的4种重要矩阵，其中超矩阵和权矩阵本质上是判断矩阵，其构造依赖于采集专家系统信息；加权超矩阵由超矩阵和权矩阵融合计算得到；极限超矩阵是加权超矩阵的幂极限，包含有最终各指标的稳定权重。
ANP模型4种矩阵的计算方法相关文献均已有详细说明，值得注意的是，由于直升机森林灭火训练效能评估的ANP模型中3个指标簇所代表的活动间存在时间逻辑，因此超矩阵可简化为上三角矩阵，减少模型计算量，这也是本文选择从指标体系的时间维建立ANP模型的原因。
2.4 指标权重确定及效能计算 极限超矩阵存在时是一个长期稳定的矩阵，其各行的非零值均相等，所有行的非零值将依次构成各指标的稳定权重矩阵:
 | (1) |
式中：ωIn为对应指标In的稳定权重。
设直升机森林灭火训练效能的各指标经标准化处理后取值分别为xI1, xI2, …, xIn，则计算训练效能的最终评估值为
 | (2) |
3 实例分析 在网络结构复杂或指标数量较多的情况下，ANP模型的计算将非常困难。SD软件是一种专门构建和运算ANP模型的应用软件，本文将使用SD完成ANP模型的构建和验证[15-17]。
在SD中构建出直升机森林灭火训练效能评估的ANP网络模型，如图 6所示。
 |
| 图 6 SD中的ANP网络模型 Fig. 6 Network model of ANP in SD |
| 图选项 |
依据采集的专家信息输入各指标和指标簇间相互比较产生的判断矩阵。输入完成后可以查看比较的各指标或指标簇相对于目标的优势度和一致性检验结果，如图 7所示。
 |
| 图 7 指标或指标簇的优势度和一致性检验结果 Fig. 7 Superiority degree and consistency check results of indexes or index clusters |
| 图选项 |
对所有指标和指标簇重复上述操作，完成判断矩阵输入。计算得到极限状态下各指标的稳定权重，如表 4所示。
表 4 各指标的稳定权重 Table 4 Stable weights of each index
| 指标簇 | 指标 | 稳定权重 |
| 任务规划 | 任务规划耗时 | 0.061 |
| 任务规划最优度 | 0.177 | |
| 设备检查 | 设备检查耗时 | 0.046 |
| 设备检查可靠性 | 0.091 | |
| 灭火 | 灭火比例 | 0.081 |
| 灭火成本效率 | 0.081 | |
| 灭火耗时 | 0.071 | |
| 灭火策略合理性 | 0.234 | |
| 火情判断准确度 | 0.158 |
表选项
与指标体系的2个维度相对应，分别从层次维和时间维对所得的各指标权重进行分析。在层次维上，任务类指标和协同类指标的权重分别为0.340和0.660，与文献[5]中的0.594和0.406相差较大，这是协同类指标对任务类指标的单向影响使得协同类指标重要性上升所致，也与主要提高机组协同合作能力的训练目的一致；在时间维上，任务规划、设备检查和灭火3个活动的权重分别为0.238、0.137和0.625，一方面表明直升机森林灭火训练不能局限于灭火过程，需要覆盖到灭火前的任务规划和设备检查内容，另一方面灭火活动的权重达到0.625，说明其仍然是整个训练任务的核心，应得到充分重视。
现有M、N 2个机组分别在某直升机森林灭火分布式仿真训练环境中进行训练，对其训练效能进行评估。各效能指标的原始数据如表 5所示，其中任务类指标直接由仿真监控系统记录并输出，协同类指标由专家系统按照五级评分法给出。
表 5 各效能指标原始数据 Table 5 Raw data of each effectiveness index
| 机组代号 | M | N |
| 任务规划耗时/min | 0.9 | 1.5 |
| 任务规划最优度 | 中 | 良 |
| 设备检查耗时/min | 0.6 | 0.5 |
| 设备检查可靠性 | 优 | 优 |
| 灭火比例 | 0.618 | 0.721 |
| 灭火成本效率 | 0.812 | 0.578 |
| 灭火耗时/min | 7.6 | 9.5 |
| 灭火策略合理性 | 良 | 优 |
| 火情判断准确度 | 良 | 良 |
表选项
对各指标原始数据进行标准化处理，代入式 (2) 中计算得到M、N 2个机组的最终训练效能如图 8所示。
 |
| 图 8 M、N机组训练效能对比 Fig. 8 Comparison of training effectiveness between unit M and N |
| 图选项 |
图 8表明，N机组的训练效能明显高于M机组，这主要是因为N机组的任务规划最优度和灭火策略合理性2个指标效能要比M机组更高，其余指标的效能2个机组相差并不大。
从指标体系的时间维对M、N 2个机组执行各活动的效能进行对比，结果如图 9所示。可见M、N机组的设备检查效能基本相同，但N机组的任务规划和灭火效能要高于M机组。
 |
| 图 9 M、N机组时间维训练效能对比 Fig. 9 Comparison of training effectiveness between unit M and N in time dimension |
| 图选项 |
从指标体系的层次维也可以对比M、N机组在训练中的配合协同能力和任务执行情况。从图 10可以看出，N机组协同完成任务的能力要比M机组更强。
 |
| 图 10 M、N机组层次维训练效能对比 Fig. 10 Comparison of training effectiveness between unit M and N in hierarchy dimension |
| 图选项 |
评估结果表明，M机组的任务规划和设备检查耗时较短，因此初始着火面积较小，本有利于快速扑灭火场，但由于机组协同性较弱导致任务划制定和灭火策略采取不适当，灭火成效并不高；N机组的任务规划和设备检查耗时稍多，导致初始着火面积较大，但任务规划制定和灭火策略采取合理使得机组虽耗费了较长时间灭火，但取得了较高的灭火成效。因此，M机组需要加强组内成员配合协同能力的训练，尤其是任务规划和灭火策略制定能力；N机组则可加大训练强度，提高机组任务执行的熟练度。
4 结论 1) 针对现有直升机单机森林灭火训练效能评估仅关注灭火本身、忽视训练任务整体性导致的评估指标体系不全问题，采用离散事件系统建模方法构建事件活动流形态的任务模型，以分析能够表征训练效能的过程性因素；并进一步提出构建指标体系的活动映射法，从直升机单机森林灭火训练的各活动中映射产生评估指标并归类到另一层次化指标体系中，形成两维度的评估指标体系，指标体系更加全面。
2) 直升机单机森林灭火训练中各活动的时序性，使得评估指标体系中部分指标间存在相关关系。使用ANP进行训练效能的评估可以充分考虑并体现指标间的相互干涉和影响，指标权重分配相比于假设指标独立性的评估方法更加合理，评估结果的可信度较高。
3) 基于ANP的训练效能评估方法对专家系统的依赖性很强，因此若要提高评估的可信度，需要改善专家系统的“质”和“量”，即进行选优和扩容。
致谢
感谢中国直升机设计研究所相关研究人员参与专家系统信息的采集。
参考文献
| [1] | 徐振我, 翟淑清. 直升机森林灭火系列配套装备的研究与应用[J].林业机械与木工设备, 1997, 25(1): 24–26. XU Z W, ZHAI S Q. Research and application of serial matched equipment for helicopter forest firefighting[J].Forestry Machinery & Woodworking Equipment, 1997, 25(1): 24–26.(in Chinese) |
| [2] | TADASHI K, HIRONORI K, YUSAKU I, et al. Aerial firefighting against urban fire:Mock-up house experiments of fire suppression by helicopters[J].Fire Safety Journal, 2008, 43(5): 363–375.DOI:10.1016/j.firesaf.2007.10.005 |
| [3] | SATOH K, KUWAHARA K, YANG K T.A numerical study of forest fire progression and fire suppression by aerial fire fighting[C]//2004 ASME International Mechanical Engineering Congress and Exposition, IMECE 2004.New York:ASME, 2004:79-86. |
| [4] | ARENTS R, KLIJN M, ROZA M, et al.Simulation-based concept development and evaluation:Augmented reality to improve communication between helicopter crew during firefighting operations[C]//AIAA Modeling and Simulation Technologies Conference.Reston:AIAA, 2016:157-165. |
| [5] | CHEN X M, LIU H, BAI J P, et al. Evaluation model of simulation based training for helicopter emergency rescue mission[J].International Journal of Multimedia and Ubiquitous Engineering, 2015, 10(9): 69–80.DOI:10.14257/ijmue |
| [6] | 邵强, 李友俊, 田庆旺. 综合评价指标体系构建方法[J].大庆石油学院学报, 2004, 28(3): 74–76. SHAO Q, LI Y J, TIAN Q W. Establishment of integrated evaluation index system[J].Journal of Daqing Petroleum Institute, 2004, 28(3): 74–76.(in Chinese) |
| [7] | 韦正现, 宋敏, 印桂生, 等. 面向事件活动流的舰艇作战任务效能评估模型[J].系统仿真学报, 2012, 24(7): 1438–1442. WEI Z X, SONG M, YIN G S, et al. Event-active flow oriented naval vessel combat mission effectiveness evaluation model[J].Journal of System Simulation, 2012, 24(7): 1438–1442.(in Chinese) |
| [8] | 刘思峰, 方志耕, 朱建军, 等. 系统建模与仿真[M].北京: 科学出版社, 2012: 70-73. LIU S F, FANG Z G, ZHU J J, et al. Modeling and simulation of system[M].Beijing: Science Press, 2012: 70-73.(in Chinese) |
| [9] | 肖田元, 范文慧. 离散事件系统建模与仿真[M].北京: 电子工业出版社, 2011: 6-9. XIAO T Y, FAN W H. Modeling & simulation for discrete event system[M].Beijing: Publishing House of Electronics Industry, 2011: 6-9.(in Chinese) |
| [10] | 石福丽, 杨峰, 许永平, 等. 基于ANP和仿真的武器装备作战能力幂指数评估方法[J].系统工程理论与实践, 2011, 31(6): 1086–1094. SHI F L, YANG F, XU Y P, et al. Power index model for operational capability evaluation of weapon equipment based on ANP and simulation[J].Systems Engineering-Theory & Practice, 2011, 31(6): 1086–1094.DOI:10.12011/1000-6788(2011)6-1086(in Chinese) |
| [11] | 吴国栋. 基于ANP的武器装备作战能力幂指数评估方法研究[D]. 长沙: 国防科学技术大学, 2010: 30-33. WU G D.Research on power index model of operational capability evaluation of weapon equipment based on analytic network process[D].Changsha:National University of Defense Technology, 2010:30-33(in Chinese). |
| [12] | 陈可嘉, 于先康. 逆向物流服务供应商选择的ANP方法及Super Decisions软件实现[J].福州大学学报 (自然科学版), 2012, 40(1): 31–37. CHEN K J, YU X K. ANP for selection of reverse logistics service providers and its implementation by Super Decisions[J].Journal of Fuzhou University (Natural Science Edition), 2012, 40(1): 31–37.(in Chinese) |
| [13] | 王棚宇. 网络层次分析法 (ANP) 在土地估价市场比较法中的应用研究[D]. 武汉: 华中农业大学, 2009: 31. WANG P Y.Application research of analytic network process on market comparison approach in land appraisal[D].Wuhan:Huazhong Agricultural University, 2009:31(in Chinese). |
| [14] | LIU J C, PEI L P. Security evaluation of power network information system based on analytic network process[J].Journal of Networks, 2013, 8(4): 866–873. |
| [15] | 胡子义, 谭水木, 彭岩. 基于ANP超级决策软件中的智能评估计算与应用[J].计算机工程与设计, 2006, 27(14): 2575–2577. HU Z Y, TAN S M, PENG Y. Computation of intelligent ratings based on ANP in super decision and its application[J].Computer Engineering and Design, 2006, 27(14): 2575–2577.DOI:10.3969/j.issn.1000-7024.2006.14.021(in Chinese) |
| [16] | 刘睿, 余建星, 孙宏才, 等. 基于ANP的超级决策软件介绍及其应用[J].系统工程理论与实践, 2003, 23(8): 141–143. LIU R, YU J X, SUN H C, et al. Introduction to the ANP super decisions software and its application[J].Systems Engineering-Theory & Practice, 2003, 23(8): 141–143.(in Chinese) |
| [17] | 李金超, 李金颖, 牛东晓, 等. 基于ANP的电网企业运营能力评价模型研究[J].电力系统保护与控制, 2011, 39(19): 37–43. LI J C, LI J Y, NIU D X, et al. Study on the evaluation model for the power grid corporation operation ability based on ANP[J].Power System Protection and Control, 2011, 39(19): 37–43.DOI:10.7667/j.issn.1674-3415.2011.19.006(in Chinese) |
