1. 西北工业大学 机电学院, 陕西 西安 710072;
2. 西北工业大学 工业设计与人机工效工信部重点实验室, 陕西 西安 710072
收稿日期:2022-06-12
基金项目:中央高校基本科研业务费专项资金资助项目(31020190504007);陕西省特支计划领军人才项目(W099115)。
作者简介:周垚(1993-),男,陕西西安人,西北工业大学博士研究生;
陈登凯(1973-),男,陕西榆林人,西北工业大学教授,博士生导师。
摘要:为探究不同时间压力下飞机驾驶舱界面搜索特征从而提升任务绩效,通过模拟飞机飞行状态下的任务搜索过程,采用眼动追踪、绩效评估及量表测量等方法来获取被试的视觉搜索轨迹与任务绩效数据并对所获取的多通道数据进行分析.结果表明:在不同时间压力(无、低、高)与不同界面复杂度(简单、复杂)下被试的视觉搜索特征存在显著差异;高时间压力与复杂界面显示都会给被试带来较高的心理认知负荷;时间压力在简单界面显示中存在倒“U”型关系.研究为飞机驾驶舱复杂人机界面设计提供了科学的理论依据.
关键词:时间压力眼动追踪界面复杂度视觉搜索飞机驾驶舱
Study on Visual Search Performance of Cockpit Interfaces Under Time Pressures
ZHOU Yao1,2, CHEN Deng-kai1,2, TAN Xiao-xue1,2, ZHAO Min1,2
1. School of Mechanical Engineering, Northwestern Polytechnical University, Xi'an 710072, China;
2. Key Laboratory of Industrial Design and Ergonomics, Ministry of Industry and Information Technology, Northwestern Polytechnical University, Xi'an 710072, China
Corresponding author: ZHOU Yao, E-mail: zhouy@mail.nwpu.edu.cn.
Abstract: To investigate the search characteristics of aircraft cockpit interfaces under different time pressures to improve task performance, the visual search trajectories and task performance data of the subjects were obtained by simulating the task search process under aircraft flight conditions, using such methods as eye tracking, performance evaluation and scale measurement, and then the multi-channel data obtained were analyzed. The results showed that there are significant differences in the visual search characteristics of the subjects under different time pressures(none, low, high) and different interface complexity(simple, complex); both high time pressures and complex interface displays placed a high cognitive load on the subjects; and there is an inverted U-shaped relationship between time pressures in the simple interface displays. It provides a scientific basis for the design of complex human-machine interfaces in aircraft cockpits.
Key words: time pressureeye trackinginterface complexityvisual searchaircraft cockpit
随着我国新一代战机的不断发展,各种新兴技术在驾驶舱中得到集成运用,这对提升空军力量夺得现代战争主动权具有重大意义.新技术的应用使得驾驶舱操控台发生了根本性变化,越来越多的信息集中在电子显示屏上,飞行员通过捕捉界面显示中的信息来完成相应任务,其中主飞行显示器(primary flight display, PFD)是飞行员发现异常信息的主要途径,可见显示界面设计优劣直接影响着飞行员完成任务的绩效.复杂性和动态性是导致界面信息搜索困难的主要原因[1],Vincent等[2]的研究发现,界面复杂性是影响决策结果的主要因素.很多****从不同的角度对界面的复杂性进行了研究,如吴晓莉[3]指出航天、航海、核电等领域的新技术会给复杂的信息界面带来诸多出错因子,而通过分析出错因子的不同类型可以对界面进行优化设计.赵慧亮等[4]基于BP(back propagation)神经网络模型来匹配用户对复杂数字人机界面的感性需求,从而解决界面显示的复杂性问题.郑瑞凌等[5]通过对不同数字界面图形的复杂度进行实验,提取脑电波(electroencephalogram, EEG)信号中的时域与频域特征构建了数字界面图形的认知负荷评价方法,所提出的方法较传统方法相比鲁棒性强且泛化能力更高.李晶等[6]从人的认知效率出发,利用眼动追踪的方法进行数控界面布局设计的认知特性和评价指标分析,结果表明搜索时间、注视次数、再注视比率、可达性和注视点排布方式可以作为评价布局认知效率的有效指标.飞行员在执行告警任务时,视觉是其获取界面信息的主要通道,大约80 % ~90 % 的信息均来自于视觉[7],因此,研究飞行员在人机交互中的视觉搜索过程是界面优化设计的关键步骤.任务种类多、时效与精准性要求高是空中作战环境的显著特征,飞行员在高空作业时大脑处于高度警戒状态,认知负荷高且处理告警信息的时间压力大.Walrath等[8]指出对于视觉搜索任务,高的时间压力会显著降低视觉搜索效率.Ariely等[9]认为,在时间压力下,人们会选择与无时间压力时不同的决策策略.文献[10]研究表明,时间压力与任务绩效之间存在倒“U”型关系,即适当的时间压力会提高作业绩效.在空中作战环境下,飞行员的视觉搜索效率是人机交互过程的关键,只有快速地获取正确信息才能高效地完成任务.眼动追踪技术可以对人的视觉注意力进行测量,在获得眼动轨迹的同时对人的视觉搜索过程进行分析.国内外利用眼动测量的方法来获取视觉搜索过程,并对显示界面进行优化的研究有很多.通过对这些文献的分析可以看出,很少有****对时间压力下的驾驶舱显示界面视觉搜索效率进行研究,而且在搜索绩效的评估指标方面较为单一.
综上所述,本研究通过飞机驾驶模拟器来仿真飞机飞行过程,将时间压力引入飞机驾驶舱人机界面评估中,基于不同时间压力与界面复杂度对飞行员在告警界面下的任务绩效进行研究.利用眼动追踪方法获取飞行员的视觉搜索轨迹与心理认知情况,从多维度评估飞行员的视觉搜索行为与注意力分配情况,从而对驾驶舱人机交互界面的优化设计提出科学理论依据,提升飞机作战性能.
1 研究方法1.1 实验设计采用飞行模拟器来仿真飞行员空中飞行过程,对某试飞院进行现场调研,统计真实飞行中驾驶舱主显示界面频次较高的简单与复杂任务画面,作为实验模拟任务的设计依据.通过设置2种不同信息密度的界面作为本次实验的搜索任务,所有被试均需对不同复杂度的界面任务进行5次搜索.为了消除记忆带来的影响,每组任务界面均不同,以此来获取更加准确的数据结果,所设计的任务界面均进行复杂度归一化处理,来消除同一困难度任务、不同任务界面带来的复杂度不一致情况.
对不同时间压力(无、低、高)进行设置来控制任务操作时间,多项研究表明低于任务操作平均时间一个标准差的值可视为低时间压力,任务操作平均时间的50 % 可视为高时间压力[11].本研究通过对无时间压力下的任务操作时间测量分别获取低、高时间压力的数值,被试进行实验时,需要在不同的时间压力下对实验任务界面上的信息进行搜索,先完成简单界面任务,再完成复杂界面任务.
1.2 实验被试与素材选择有相关专业背景的学生作为眼动实验被试已经被研究证明是有效的[12],本实验通过对学校具有飞行与设计专业背景的研究生进行招募,筛选出30名被试并分为3组.所有被试均为男性,视力正常(或矫正后正常)无其他眼部疾病史,右利手且平均年龄为27岁.
被试分别对简单与复杂界面任务进行信息搜索,每一界面中被试需要完成3条信息的搜索.在时间压力下的界面中,右上角会显示时间倒计时,提醒被试剩余的任务完成时间.
1.3 实验设备与环境本研究采用TobiiPro Fusion眼动仪来收集被试眼动数据,该眼动仪的优点在于可以无接触地对被试眼动数据进行采集,不仅采样率可达250 Hz,而且双眼动追踪传感器和明暗瞳追踪模式可以使眼动数据更加真实可靠.实验前,将眼动仪固定在显示器下方,所有被试均需进行注视点校准,Tobii眼动仪配有TobiiProlab实验设计与分析软件,可直接对采集到的数据进行分析.
为了尽可能模拟真实的飞行情况,通过调研数据对实验环境进行控制,本次实验在隔音房间中进行,室内光线明亮,通风良好,温度为15~20 ℃,实验时显示器的光照度均采用900 lx.
1.4 实验过程所有被试在实验前会进行身体状态评估,以保证实验数据的有效性.引导被试进入实验室,就坐于屏幕前的可调节座椅上,要求被试眼睛与屏幕中心处于同一高度.主试详细阐述本次实验目的及注意事项,所有被试在培训与预实验中已熟练掌握飞机模拟器的操纵.实验共分为3组,所有被试在相应的时间压力下进行两种任务,所有要寻找的目标在信息页面出现前会有提示,且提示信息位于屏幕的中心来减少眼动数据误差.在被试找到目标后,需要按下操纵杆上的按钮来确定任务完成,每一任务完成后被试需要对任务中的信息进行问卷界面填写,所有被试在实验前自愿签署知情同意书.
实验开始后,被试首先要进行3 min无任务的模拟飞行,从而进入飞行状态,过程中视距需保持水平.随后界面会出现任务提示信息来引导被试进入实验任务,被试在任务搜索过程中仍要保持飞行状态,机身的偏离度将会被用来评估飞行绩效.在低、高时间压力下的时间数值参考无时间压力下的数据,本实验将简单与复杂界面低时间压力数值分别设为6 s与15 s,高时间压力数值设为4 s与9.5 s.在被试按下按钮后(每完成1个任务)页面会跳转到问卷界面,若倒计时结束后被试仍未找出所有目标,系统会自动进入问卷界面.整个实验过程对被试眼动数据进行采集,并对每个任务页面进行分析.实验完成后,每位被试需要填写一份访谈问卷来回答任务过程中的主观感受.
2 实验结果2.1 任务绩效数据分析2.1.1 搜索时长分析分别对5次简单与复杂界面任务完成时间的平均值进行数据统计,3组被试在不同时间压力下的任务搜索时长如表 1所示.被试在进行高时间压力下的任务时完成率最低,很多被试在时间倒计时结束后并未全部找到目标信息.
表 1(Table 1)
表 1 不同时间压力下任务搜索时间与任务完成率Table 1 Task search time and task completion ratio under different time pressures
| 表 1 不同时间压力下任务搜索时间与任务完成率 Table 1 Task search time and task completion ratio under different time pressures |
可以看出,低时间压力下被试进行简单与复杂界面任务时的搜索时长均低于给定的标准时间,说明被试在低的时间压力下拥有更高的搜索效率;而在高时间压力下被试在两种任务复杂度下均不能在给定的时间内完成任务,这说明在视觉任务搜索过程中,适当的时间压力可以增加被试的搜索效率.
为检验所得数据的有效性,对不同时间压力下被试搜索时长数据进行双因素方差分析,在置信度95 % 水平时,两种任务复杂度在无时间与低时间压力因素下,任务搜索时长的检验值p分别为0.462与0.217,大于检验值p的临界值0.05,可见无时间与低时间压力下的被试搜索时长数据无显著差异性;两种任务复杂度在无时间与高时间压力下,任务搜索时长的检验值p分别为0.006与0.002,小于检验值p的临界值0.05,而且在低时间与高时间压力下有着类似的检验数据值,可见无时间压力与高时间压力、低时间压力与高时间压力下任务搜索时长均存在显著差异性.同理可得3种时间压力下,简单与复杂界面任务的配对检验值p分别为0.001,0,0.009,均小于临界值,可见任务搜索时间同样具有显著差异性.
2.1.2 偏移角度分析整个实验中,被试需要保持平稳飞行状态,模拟器可以对被试在实验中的机身偏移角度进行记录,本研究对所记录的数据进行分析来评估被试的注意力分配情况.不同时间压力与任务复杂度下飞机偏离水平位置的角度数据如表 2所示,角度取平均值且不分正负.以飞机偏移角度的大小评估此时被试的注意力分配情况,机身偏离水平角度数值越大,说明被试对界面任务的注意力分配越多,对控制飞行的注意力分配越少,如在被试进行高时间压力下的复杂界面任务时,机身偏离水平角度的平均值达到32°,已严重偏离航线要求.
表 2(Table 2)
表 2 偏离水平角度Table 2 Deviation angles from the horizon
| 表 2 偏离水平角度 Table 2 Deviation angles from the horizon |
可以看出,随着时间压力与任务复杂度的升高,机身偏离水平角度逐渐增加,这说明被试分配在控制飞行的注意力不断减少,此时界面搜索任务占据了被试更多的注意力,高时间压力与复杂界面任务都会占据被试大量注意力资源,引起被试的心理负荷增加.
2.2 眼动数据分析2.2.1 轨迹图分析对所有被试进行眼动数据采集,将30名被试眼动数据导入TobiiProlab中进行分析,图 1,图 2所示为每组10名被试在不同时间压力下,简单与复杂界面(各取1张)搜索轨迹与热区叠加图,以无时间与高时间压力为例.
图 1(Fig. 1)
图 1 无时间压力下简单与复杂界面搜索轨迹与热区图Fig.1 Simple and complex interface search trajectories and hot zone maps without time pressure (a)—简单界面轨迹图;(b)—简单界面热区图;(c)—复杂界面轨迹图;(d)—复杂界面热区图. |
图 2(Fig. 2)
图 2 高时间压力下简单与复杂界面搜索轨迹与热区图Fig.2 Simple and complex interface search trajectories and hot zone maps under high time pressure (a)—简单界面轨迹图;(b)—简单界面热区图;(c)—复杂界面轨迹图;(d)—复杂界面热区图. |
在不同时间压力与任务复杂度下,被试的视觉搜索轨迹存在显著差异,例如,在无时间压力下的简单界面任务搜索中,被试注视点分布具有一定规则性,总体搜索轨迹是由左到右再由上到下,符合系统搜索规律,这种搜索方式一般与人的心理认知负荷较少有关,这种情形下被试可以对界面信息有足够的浏览,注视点集中也形成了颜色较深的热区,对界面内的信息加工也充分;在高时间压力下的复杂界面任务搜索中,注视点呈现散乱且无规则,被试搜索轨迹偏向于随机搜索,这种搜索方式表明被试此时对界面的信息加工困难,同时所受到的心理认知负荷会较高,这种情形下被试对界面信息没有足够的浏览,注视点集中形成的热区颜色较浅,对界面内的信息加工不充分.可见,随着时间压力与任务复杂度的增加,被试注视点逐渐变得散乱,注视轨迹也发生了较大变化,这说明时间压力与任务复杂度对视觉搜索存在显著影响.
2.2.2 注视点分析实验对信息显示界面的注视点数据进行收集,研究指出,眼动凝视指标与人对信息的加工有关,扫视指标与人对信息的寻找有关[13].因此,本研究将对眼动数据指标中的凝视次数、凝视时间、扫视次数与扫视时间进行分析,从而获得不同时间压力与任务复杂度下的被试视觉搜索特征,表 3为眼动指标数据结果.
表 3(Table 3)
表 3 眼动指标数据结果Table 3 Eye movement indicators
| 表 3 眼动指标数据结果 Table 3 Eye movement indicators |
从眼动指标数据可以看出,被试扫视时间远大于凝视时间,扫视次数同样也大于凝视次数,而且随着时间压力与任务复杂度的增加,两者差距越来越大.凝视时间与扫视时间比值可以反映被试对任务界面的搜索效率.由表 3可以看出,不同时间压力与任务复杂度下的搜索效率存在显著差异,如在无时间压力下,简单界面搜索效率要高于复杂界面,随着时间压力的增加,简单界面的搜索效率会提升,但复杂界面搜索效率会下降,在时间压力达到最大时,简单与复杂界面搜索效率都会显著下降,尤其是复杂界面下降速率更快.可见,时间压力对被试进行简单界面搜索效率的影响呈现倒“U”型趋势,而复杂界面无此规律,但时间压力的增大会使复杂界面的扫视时间增加从而显著降低搜索效率.
2.2.3 瞳孔直径分析瞳孔直径变化在眼动数据中具有重要意义,其可以反映被试的心理负荷情况.瞳孔增大表明当前任务需要被试花费更多心理努力与注意力,而瞳孔变小和被试的疲劳相关[14],因此,本研究对所有被试的瞳孔大小进行对比,如表 4所示.
表 4(Table 4)
表 4 眼动直径数据Table 4 Eye movement diameter data?
| 表 4 眼动直径数据 Table 4 Eye movement diameter data? |
在被试执行高时间压力的复杂任务时瞳孔直径达到最大,说明被试此时的心理负荷较高;在无时间压力的简单界面时被试瞳孔直径最小,此时被试的心理负荷较小.利用瞳孔直径来反映被试心理认知负荷情况,数据结果与眼动注视点数据结果一致.
2.3 问卷数据分析被试在完成实验任务后需填写一份问卷,参考NASA-TLX任务负荷量表来对问卷进行设计,每个任务中的8个问题采用李克特5级评分制进行打分,除业绩水平外,得分越高说明被试的认知负荷越大.由表 5可以看出,被试对高时间压力的复杂界面任务主观认知负荷较高,这与眼动数据结果一致,表明时间压力与任务复杂度会显著增加被试的认知负荷,从而影响搜索效率.
表 5(Table 5)
表 5 问卷数据Table 5 Questionnaire data
| 表 5 问卷数据 Table 5 Questionnaire data |
3 讨论3.1 不同任务复杂度对视觉搜索影响显著任务的复杂度会对被试的搜索策略产生显著影响,由实验数据可知在简单界面任务中,被试对目标的搜索多采用系统搜索,这是常见的任务目标的搜索方法.在这种搜索方式下,被试的搜索时间短且效率高,较小的瞳孔直径表明被试感知到的认知负荷低,并且可以对飞行有很好的控制.当被试进行复杂界面任务搜索时,眼动轨迹逐渐散乱,且高时间压力下最明显,而眼动轨迹的散乱常与界面设计不合理和认知负荷高有关,这说明任务复杂度的升高会使被试感知到较高的任务负荷,从而改变搜索策略,而无时间与低时间压力下的眼动数据有着相同的结果.瞳孔直径的数据结果也证明了在复杂界面任务中,被试的认知负荷要显著大于简单界面任务.在实验结束后的问卷调查中,很多被试在完成复杂界面任务时并不能找出全部的目标,而且随着时间压力的增加,出错次数也明显增多.
飞机驾驶舱内显示界面信息错综复杂,在飞行状态下需要飞行员同时执行多项任务,根据被试在复杂任务下的搜索轨迹,界面左边区域更容易引起被试注意从而开始任务搜索,因此在复杂显示界面的设计中,应当将更多的信息放在容易检索到的区域,减少飞行员认知负荷的同时提高任务搜索效率;将复杂信息简单化显示也能显著提高飞行员的搜索效率.
3.2 高时间压力对视觉搜索影响显著由实验结果可知,低时间压力对被试搜索时间影响不显著,而高时间压力对搜索时间影响显著.在高时间压力下,被试因受到时间压力会对任务搜索方式进行调整,为了快速找到目标,会采用随机搜索的方式来减少搜索时间,但实验后的问卷结果显示,很多被试在高时间压力下并未找到全部目标,但迫于任务时间而采取错误的操作.Ordonez等[14]发现在时间压力下,被试会产生焦虑,从而参与认知的过程会减少,导致任务出错率升高.研究表明,焦虑占用个体的精神资源,从而减少对决策任务的注意力[15].在眼动数据中,随着时间压力的增大,被试扫视时间与次数增多,而过多的扫视时间通常与界面设计不合理或个体认知负荷较高相关,被试瞳孔增大也表明高的时间压力会显著提升被试的心理负荷,这也是导致被试采取错误操作的直接原因.
低时间压力下被试在简单界面任务中搜索效率更高,研究也证明了时间压力对人的视觉搜索效率呈倒“U”型关系这一结论,在日常进行搜索任务的设置中,应考虑增加适当的时间压力来提高任务搜索效率,尤其在界面密度较小的搜索任务中.
4 结论1) 时间压力与任务复杂度会对人的视觉搜索过程产生显著影响.高时间压力与复杂界面任务都会增加个体的认知负荷,从而降低任务绩效,在复杂任务界面设计中应同时考虑这些因素.
2) 界面显示设计中应更多考虑人的视觉搜索规律.大量的扫视时间会降低任务搜索效率,在界面设计中应遵循视觉搜索规律,将重要信息放在屏幕左侧区域;在界面设计初期可以用瞳孔大小的变化幅度作为评估依据,从而优化设计界面.
3) 时间压力与低密度界面视觉搜索效率存在倒“U”型关系.在界面信息搜索任务中,应该有一定的时间压力来提升搜索效率.
4) 在未来研究中,将会对真实的飞机飞行过程进行分析,同时以任务为导向来对飞行员的心理负荷情况进行评估,从而为飞机驾驶舱设计提供理论依据.
参考文献
[1] | 谭登程. 压路机驾驶室操控告警系统多通道交互界面设计研究[D]. 徐州: 中国矿业大学, 2021. (Tan Deng-cheng. Research on multimodal interactive interface design of road roller cab manipulation warning system[D]. Xuzhou: China University of Mining and Technology, 2021. ) |
[2] | Vincent K, Roth E R, Moore A S, et al. Improving spatial decision making using interactive maps: an empirical study on interface complexity and decision complexity in the North American hazardous waste trade[J]. Environment and Planning B: Urban Analytics and City Science, 2018, 46(9): 1706-1723. |
[3] | 吴晓莉. 复杂信息任务界面的出错——认知机理研究[M]. 北京: 科学出版社, 2017: 110-115. (Wu Xiao-li. Errors in complex information task interface: a study on cognitive mechanism[M]. Beijing: Science Press, 2017: 110-115.) |
[4] | 赵慧亮, 何林, 林丽. 面向复杂数字化人机界面的感性意象设计研究[J]. 机械设计与制造, 2016(6): 135-138. (Zhao Hui-liang, He Lin, Lin Li. Kansei image design for complex digital human-machine interface[J]. Mechanical Design and Manufacturing, 2016(6): 135-138.) |
[5] | 郑瑞凌, 张俊松. 脑电时空多特征融合的数字图形界面认知负荷评价方法[J]. 计算机辅助设计与图形学学报, 2020, 32(7): 1062-1069. (Zheng Rui-ling, Zhang Jun-song. Assessing cognitive load combining features of time, frequency and spatial domain under digital graphical interface[J]. Journal of Computer-Aided Design and Graphics, 2020, 32(7): 1062-1069.) |
[6] | 李晶, 郁舒兰, 刘玮. 基于眼动追踪的数控界面布局认知特性评价[J]. 计算机辅助设计与图形学学报, 2017, 29(7): 1334-1342. (Li Jing, Yu Shu-lan, Liu Wei. Cognitive characteristic evaluation of CNC interface layout based on eye-tracking[J]. Journal of Computer-Aided Design and Graphics, 2017, 29(7): 1334-1342.) |
[7] | Zhang N N, Fan S C, Wang D D, et al. Research on evaluation of general aviation aircraft cockpit display interface based on mental workload[J]. Chinese Journal of Engineering Design, 2019, 5(2): 35-48. |
[8] | Walrath L C, Backs R W. Time stress interacts with coding, density, and search type in visual display search[C]//Proceedings of the Human Factors and Ergonomics Society Annual Meeting. San Francisco: SAGE Publications, 1989: 1496-1500. |
[9] | Ariely D, Zakay D. A timely account of the role of duration in decision making[J]. Acta Psychologica, 2001, 108(2): 187-207. DOI:10.1016/S0001-6918(01)00034-8 |
[10] | Wang H B, Jiang N Q, Pan T, et al. Cognitive load identification of pilots based on physiological-psychological characteristics in complex environments[J]. Journal of Advanced Transportation, 2020, 2020(8): 5640784. |
[11] | Barone S, Lombardo A, Tarantino P. A weighted logistic regression for conjoint analysis and Kansei engineering[J]. Quality and Reliability Engineering International, 2007, 23(3): 689-706. |
[12] | Zhang X B, Yuan S M. An eye tracking analysis for video advertising: relationship between advertisement elements and effectiveness[J]. IEEE Access, 2018, 6(1): 88-94. |
[13] | Verney S P, Granholm E, Marshall S P. Pupillary responses on the visual backward masking task reflect general cognitive ability[J]. International Journal of Psychophysiology, 2004, 52(1): 23-36. |
[14] | Ordonez L, Benson L. Decisions under time pressure: how time constraint affects risky decision making[J]. Organizational Behavior & Human Decision Processes, 1997, 71(2): 121-140. |
[15] | Kiesler S, Sproull L. Group decision making and communication technology[J]. Organizational Behavior & Human Decision Processes, 1992, 52(1): 96-123. |