, 谢帅2 1. 中国科学院大学, 北京 100049;
2. 中国科学院遥感与数字地球研究所, 北京 100094
2018年2月9日 收稿; 2018年4月20日 收修改稿
基金项目: 中国科学院遥感与数字地球研究所所长基金（ZZCEODE2015HT013）和中国科学院遥感与数字地球研究所数据管理部资助
通信作者: 段建波，E-mail:duanjb@radi.ac.cn
摘要: 在遥感灾害评估领域，众包可用于集合网络大众的智慧完成灾情评估任务，但在现实的众包平台中存在着工作者的答案质量不够可靠的问题。提出一种新型的结合质量控制的震后房屋倒塌众包评估模型。以玉树地震为例搭建众包平台，对收集到的数据，首先使用黄金数据和一致性检验方法过滤掉低质量的数据，随后根据提出的房屋倒塌众包模型得到可靠的灾情解译结果。实验结果显示，质量控制前后，试验区房屋倒塌评估精度分别为70.59%和85.29%，表明本文提出的评估模型有效地提高了众包灾情解译的准确度，可在震后初期提供可信度较高的遥感目视解译结果。
关键词: 众包质量控制遥感灾害评估建筑物倒塌评估
Crowdsourcing assessment model combined with quality control for collapsed buildings after the earthquake
JIA Yingyu1,2, LIU Shibin2, DUAN Jianbo2
, XIE Shuai2 1. University of Chinese Academy of Sciences, Beijing 100049, China;
2. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China
Abstract: In the field of remote sensing disaster assessment, crowdsourcing assembles the intelligence of the network users to complete the disaster assessment tasks. However, there is a problem that the quality of the workers' answers is not reliable in the real crowdsourcing platform. In this study, a new model combined with quality control for crowdsourcing assessment of collapsed buildings after the earthquake is proposed. A case study of Yushu earthquake was presented and the experimental platform was set up to collect crowdsourcing disaster assessment data. First, the gold data and consistency test method were used to filter out low-quality crowdsourcing data. Then, the reliable disaster interpretation results were derived by the crowdsourcing assessment model. The experimental results show that the assessment accuracies of the collapsed buildings in the test area were 70.59% without the quality control and 85.29% with the quality control, which indicates that the proposed model effectively increases the accuracy of the crowdsourcing disaster interpretation. Therefore, crowdsourcing provides reliable visual interpretation results based on the proposed method, which is of importance for remote sensing disaster assessment.
Keywords: crowdsourcingquality controlremote sensing disaster assessmentbuilding collapse assessment
航天航空遥感技术具有响应速度快、地面分辨率高、使用灵活等特点，可以对震后地区进行灾情监测[1-4]。地震灾害具有突发性，在震后初期，因为通信和交通道路的损坏，往往难以进行灾区大规模实地调查，大多依靠遥感像片对灾情进行判断。房屋倒塌损毁情况是判断灾区受灾程度的一个重要指标，对灾后的应急救援有很大指示作用[5-6]。
目前，计算机自动分类方法存在难以区分矢量图形边界的缺点，而目视解译的工作者可以根据地物的边界、形状、颜色、阴影等特征并综合运用图像解译知识，对遥感影像进行分类、识别和信息提取，因而在现阶段，目视解译在遥感影像信息提取方面仍占有不可取代的重要地位[7-8]。基于少数专家的人工目视解译精度比较高，但因为人工解译工作量大、效率低，难以满足震后快速评估灾情、展开救援的实际需要。
众包是公众在互联网上通过独立或者合作的方式完成复杂任务的一种方式。众包可以解决那些计算机难以解决而人类比较擅长的问题，被应用于人机交互领域、数据库领域、信息检索领域等[9]。目前比较流行的众包平台有带有经济奖励的Amazon Mechanical Turk平台[10]、提供食品即时问答服务的Foodpickle平台[11]、免费开源可编辑的OpenStreetMap电子地图平台[12]等。在地理信息方面，童咏昕等[13-15]提出“时空众包(spatiotemporal crowdsourcing)”的概念，认为应用众包技术处理时空数据方式可以称作时空众包数据管理。研究者进一步探索出时空数据在线任务分配新方法[16]，为解决实时空间数据问题提供了统一的实施方案[17]。2010年海地地震之后，OpenStreetMap以卫星照片为基础，召集众多志愿者为海地救援队提供受灾区建筑物的损毁情况，及时传递最新消息，极大地提高了救援队的工作效率[18]。在2012年台风海燕袭击菲律宾之后，OpenStreetMap再次快速响应，志愿者根据受灾前后的遥感像片判断出受灾区的损毁程度，为救援队的救援活动提供信息上的支持[19]。在遥感影像信息提取方面，Fritz等[20-21]的GeoWiki和DIYlandcover平台，参与者可以通过平台提供的卫星图像进行信息反馈从而参与环境监测。平台通过全球土地覆盖监测，标注出非洲中部森林砍伐情况。在众包判断震后建筑物损毁情况方面，2015年4月尼泊尔大地震后，DigitalGlobe公司的Tomnod平台把受灾地区的高分辨率遥感影像提供给全球各地的网络志愿者，公众可以标注出受损的建筑物、道路等信息，为现场的救灾人员提供帮助[22]。
众包为网络大众参与地理信息的采集、修改和维护提供了便利条件，在突发地震灾害的情况下，受灾区遥感数据会短时间内大幅增加，普通公众可以通过众包的方式分担专业人员的一部分工作，加快应急响应速度。但由于参与者的背景和水平不同，在完成众包任务时，难免会出现数据质量参差不齐、众包结果不准确的情况，同一位参与者在工作时的注意力也可能不断变化。因此，对工作者答案进行质量控制成为提升众包结果质量的一项重要工作。在众包质量控制方面，Zheng等[23]提出众包数据管理中存在的问题，指出改善众包管理的关键因素，Feng[24]研究在线任务分配问题，提出QASCA系统。Fan等[25]提出iCrowd自适应众包框架，可以显著提高众包质量。Li等[26]总结出改善众包管理的3个重要问题，分别是质量控制、成本控制、延迟控制。Feng等[27]提出一个工人模型，设计增量推理策略来计算工人质量。唐思[28]提出一种基于工作者过滤的最大期望算法，并引入用户应答时间作为隐式反馈评价工作者的准确率。张志强等[29]提出一种阶段式的动态质量评价控制策略，同时给出一种组合式众包结果质量评估方法框架。逄居升[30]从工作者所提交数据的方向出发，通过收集评估任务的提交结果，对众包工作参与者进行验证分析，对相关性评估任务的众包结果进行质量分析，提出一种新的众包质量识别模型。在计算震后房屋倒塌损毁情况方面，Xie等[31]提出一种通过概率模型和最大期望算法来定量地计算出单个房屋的真实损毁类型的方法。
本文针对目前遥感灾害评估工作中存在的问题，以青海省玉树藏族自治州结古镇的研究区为例，提出一种结合质量控制的震后房屋倒塌众包评估模型，并实现模型的原型系统。为避免低质量答案对众包结果产生不良影响，本研究在众包的工作流程中加入工作者答案质量过滤的环节，引入一致性检验方法，去除低质量答案。随后通过概率模型和最大期望算法，定量地计算出单个房屋的真实损毁类型，得到震后房屋倒塌情况空间分布专题图，为地震后快速评估建筑物倒塌提供了一种新模式。
本文的创新性主要体现在：
1) 在遥感灾害评估领域，以往主要依靠计算机自动识别和专家目视解译的方法来判断建筑物损毁程度。本文将众包方法应用到判断震后建筑物损毁程度领域，提出一种新的结合质量控制的震后房屋倒塌众包评估模型。
2) 将黄金标准数据和一致性检验方法引入到房屋倒塌评估模型的众包质量控制环节，为提高遥感评估众包结果准确度提供了一种新思路。
3) 实验实现了模型的原型系统，搭建基于B/S(浏览器/服务器)结构的震后房屋倒塌评估众包平台，并给出具体实验结果，证明众包模式在遥感领域是可行的，具有推广价值。
1 研究区与数据实验数据选自青海省玉树藏族自治州中受灾较为严重的结古镇地区的多光谱航空遥感像片，空间分辨率为0.33 m，高分辨率影像可以更加清晰地表达目标地物的空间结构和纹理特征，为目视解译提供丰富的细节特征。结古镇位于青海省南部，海拔3 681 m，属于大陆性高原气候，拥有2.3万人口，该地区的房屋在影像上呈现出多种破坏类型。结古镇城区的房屋以混凝土结构为主，在地震过程中遭到损毁，城区以外的房屋以土木结构为主，几乎全部损毁[32]。研究区的位置及航空遥感影像图如图 1所示，影像由RGB三波段真彩色合成。
Fig. 1
 | Download: JPG larger image |
| 图 1 研究区的位置及航空遥感影像图 Fig. 1 Location of the study area and the aerial remote sensing image 图 1 研究区的位置及航空遥感影像图 Fig. 1 Location of the study area and the aerial remote sensing image --> | |
2 方法2.1 技术路线实验系统采用B/S结构搭建，该结构即是WebGIS所采用的结构，通过Internet/Intranet实现互联，服务器端向客户端提供信息和服务，浏览器具有获得各种空间信息和应用的功能。实验平台包括浏览器、WebGIS服务器和数据库3部分。
基于众包的遥感影像灾情判断模型主要由4层构成，技术路线结构如图 2。基础数据准备层存储众包任务的任务库，任务库中存储了经过遥感影像预处理并且在线发布的遥感影像，用户可以根据自己的喜好挑选要完成的众包任务；灾害数据采集层用来收集工作者的答案，将他们存储到数据库中；数据质量评估层对收集到的数据进行一致性检验，过滤质量较低的答案，同时将合格的答案通过概率模型利用最大期望算法进行整合，定量计算出房屋倒塌的最终类型；结果输出层输出众包结果，即震后房屋倒塌类型专题图。技术路线图如图 2所示。
Fig. 2
 | Download: JPG larger image |
| 图 2 技术路线图 Fig. 2 Architecture of the processing 图 2 技术路线图 Fig. 2 Architecture of the processing --> | |
2.2 工作者答案质量检验方法一致性检验法是医学中用来评估两种检验方法或者两名被检验人员是否具有一致结果的常用方法。在对工作者答案进行过滤时，一致性检验通常用于评价工作者答案是否与黄金数据一致。
本文引入“黄金数据”(gold data)的概念，黄金数据注入算法是一种基于专家标签的方法。专家首先对被评估数据的一小部分进行标签化判定，把这些专家判定的数据当作黄金数据，再与工作者的判定答案作比较，对工作者的答案质量进行评估，得到工作者的可靠度。
本研究采用一致性检验中的kappa检验法。1960年，Cohen等[33]提出用kappa值作为评价判断一致性程度的指标，kappa检验已经成为目前一致性检验中常用的检验标准。kappa统计量的计算公式为
| ${\rm{kappa}} = \frac{{{P_0} - {P_{\rm{e}}}}}{{1 - {P_{\rm{e}}}}}, $ | (1) |
Kappa值指内部一致性系数，是作为评价判断的一致性程度的重要指标，它的值波动在+1~-1之间，kappa值越大，一致性越好。若kappa值为1，说明两次判断的结果完全一致；若kappa值为0，说明两次观察结果是由于机遇造成的；Kappa值若为负数，说明一致程度很差，在实际中无意义[34]。表 1展示kappa值与一致性程度的对照情况。
Table 1
 表 1 Kappa值与一致性程度对照表Table 1 Kappa values and the degrees of consistency
| 表 1 Kappa值与一致性程度对照表Table 1 Kappa values and the degrees of consistency |
2.3 建筑物倒塌类型评估方法假设每个工作者的标注结果互不影响、相互独立，每个建筑物可以被多个工作者多次标注。记有W个工作者对J个建筑物进行K种损毁类型标注，αkr(w) (k=1, …, K; r=1, …, K; w=1, …, W)表示工作者w把真实倒塌类型为k的建筑物标记为r的概率，即个人误差率。njr(w)(j=1, …, J; r=1, …, K; w=1, …, W)表示工作者w把建筑物j标记为r的次数，pk(k=1, …, K)表示建筑物真实倒塌类型为k的概率。Gjk (k=1, …, K)是一个二值变量，表示建筑物j的倒塌类型，如果建筑物j的真实倒塌类型为t，那么Gjt=1并且Gjk=0 (k≠t)，即p(Gjk=1)=pk。根据所有工作者对所有倒塌建筑物的评估结果，全数据的似然函数为
| $\prod\nolimits_{j = 1}^J {\prod\nolimits_{k = 1}^K {\{ {p_k}\prod\nolimits_{w = 1}^W {\prod\nolimits_{r = 1}^K {{{\left( {\alpha _{kr}^{(w)}} \right)}^{njr(w){G_{jk}}}}.} } } } $ | (2) |
| $\hat \alpha _{kr}^{(w)} = \frac{{\sum\nolimits_j {{G_{jk}}} n_{jr}^{(w)}}}{{\sum\nolimits_r {\sum\nolimits_j {{G_{jk}}} } n_{jr}^{(w)}}}, $ | (3) |
| ${{\hat p}_k} = \frac{{\sum\nolimits_j {{G_{jk}}} }}{J}.$ | (4) |
| $\begin{array}{l}\begin{array}{*{20}{l}}{p\left( {{G_{jk}} = 1|{m_ - }r} \right)}\\{ = \frac{{p\left( {{m_ - }r|{G_{jk}} = 1} \right)p\left( {{G_{jk}} = 1} \right)}}{{p\left( {{m_ - }r} \right)}}}\end{array}\\ = \frac{{p\left( {{m_ - }r|{G_{jk}} = 1} \right)p\left( {{G_{jk}} = 1} \right)}}{{\sum\nolimits_{t = 1}^K p \left( {{m_ - }r|{G_{jt}} = 1} \right)p\left( {{G_{jt}} = 1} \right)}}.\end{array}$ | (5) |
| $\begin{array}{c}p\left( {{G_{jk}} = 1|{m_ - }r} \right)\\ = \frac{{\prod\nolimits_{w = 1}^W {\prod\nolimits_{r = 1}^K {{{\left( {\alpha _{kr}^{(w)}} \right)}^{n_{jr}^{(w)}}}{p_k}} } }}{{\prod\nolimits_{k = 1}^K {\prod\nolimits_{w = 1}^W {\prod\nolimits_{r = 1}^K {{{\left( {\alpha _{tr}^{(w)}} \right)}^{n_{jr}^{(w)}}}{p_t}} } } }}.\end{array}$ | (6) |
1) 估计Gjk的初值；
2) 利用式(3)和式(4)计算αkr(w)和pk；
3) 利用式(6)以及第2)步中αkr(w)和pk的估计值重新计算新的Gjk；
4) 重复第2)、3)步，直到结果收敛。
在第1)步中，利用下式计算Gjk的初始估计值：
| ${{\hat G}_{jk}} = \frac{{\sum\nolimits_w {n_{jk}^{(w)}} }}{{\sum\nolimits_w {\sum\nolimits_r {n_{jr}^{(w)}} } }}.$ | (7) |
3.1 众包数据收集与质量控制本研究主要使用ENVI软件对航空遥感影像进行预处理工作。首先对遥感影像进行几何校正、图像配准、镶嵌和裁剪的工作，并将其发布到互联网，由工作者对单个房屋倒塌情况进行目视解译，在网站中标记房屋倒塌类型。实验的工作者大多是非专业的网络志愿者，我们把链接发布到年级群、社交网站、亲友群中，由他们自愿进行作答。实验标注采用较为直观的、容易理解的3种房屋损毁标注类型，分别是“完好”“部分倒塌”和“完全损毁”，标注的数据被存储到后台的数据库中。对收集到的所有工作者的评估结果，首先根据质量过滤模型过滤出低质量答案，并且去除。随后通过概率模型利用最大期望算法将过滤后的答案进行整合，得到每个被评估房屋的损毁类型。最后进行结果输出，得到震后灾区房屋倒塌情况专题图。图 3是基于B/S模式的众包数据采集系统界面，公众注册登陆后即可看到任务信息采集页面，界面左侧设置有答案选项，公众可根据自己的判断作答。
Fig. 3
 | Download: JPG larger image |
| 图 3 众包数据采集系统界面 Fig. 3 Interface of crowdsourcing data collection system 图 3 众包数据采集系统界面 Fig. 3 Interface of crowdsourcing data collection system --> | |
本次实验一共收集3 450条记录，包含30名工作者对实验区中115个房屋的标注信息。在进行工作者答案质量判断时，分别计算工作者答案与黄金数据的kappa值以及工作者与其他工作者答案的kappa平均值。
本文将需要判定的房屋分成黄金数据样本和测试样本。其中，黄金数据样本是指专家已经给出答案的题目，测试样本是指需要工作者给出答案的题目，本次实验选择115个需要工作者判定的测试样本，同时选择34个黄金数据样本，其中完好16处，部分倒塌10处，完全损毁8处。分别选取2、3、12、13、27、28、37、38、87、88、94、95、96、97、102、103号房屋为完好房屋，用绿色区域来标识。选取10、20、33、34、69、70、79、80、100、108号房屋为轻微倒塌房屋，用黄色来标识。选取40、45、58、61、75、81、99、106号房屋，用红色来标识。(房屋序号从图像左上角开始，向右向下依次递增)具体选择情况如图 4所示。
Fig. 4
 | Download: JPG larger image |
| 图 4 黄金数据选择情况图 Fig. 4 Spatial distribution of the gold data 图 4 黄金数据选择情况图 Fig. 4 Spatial distribution of the gold data --> | |
为减少极端值对质量控制结果的影响，需要综合工作者的kappa值进行判断。本次实验先将每个工作者答案与黄金数据做kappa计算，值记为kappag；再将每个工作者答案与其他工作者的答案做kappa计算后求平均值，值记为kappaa。为保证实验的公平性，实验中采用的淘汰阈值为0.4，取kappag和kappaa均低于0.4的答案，标记为低质量答案值，若工作者只有一个kappa值小于0.4，那么将不被标记。
计算每位工作者的kappa值，发现，ID为3、19、20、21、25的工作者的kappag和kappaa均小于0.4，在本次实验中，他们的答案可以看作是低质量答案，为保证今后实验的准确度，这些工作者的答案将被去掉。每位工作者与黄金数据的kappag计算值以及工作者之间的kappag计算值见图 5。
Fig. 5
 | Download: JPG larger image |
| 图 5 工作者kappa值计算 Fig. 5 Kappa values for workers 图 5 工作者kappa值计算 Fig. 5 Kappa values for workers --> | |
3.2 实验结果与对比分析过滤掉低质量答案后，实验利用建筑物倒塌评估的概率模型对单个房屋计算倒塌类型估计值。最大期望算法考虑了每位工作者的权重以及参与者在评估过程中的整体表现情况。图 6给出在最大期望算法迭代过程中，3种破坏类型的边缘概率随着迭代次数的变化趋势，当迭代次数达到30次时，结果收敛。对于大多数建筑物来说，基本都是其中一种破坏类型的后验概率值为1，说明结果具有明显的一致性。
Fig. 6
 | Download: JPG larger image |
| 图 6 3种破坏类型边缘概率随最大期望算法迭代次数波动情况 Fig. 6 Fluctuations in marginal probabilities of the three damage types with the number of iterations 图 6 3种破坏类型边缘概率随最大期望算法迭代次数波动情况 Fig. 6 Fluctuations in marginal probabilities of the three damage types with the number of iterations --> | |
根据上述得到的单个建筑物损毁类型，得到如图 7(b)所示的房屋倒塌情况专题图。为对比一致性检验前后结果的准确率，实验将没有对工作者答案进行质量控制的数据也使用最大期望算法进行计算，得到图 7(a)所示的专题图。
Fig. 7
 | Download: JPG larger image |
| 图 7 房屋倒塌情况专题图 Fig. 7 Thematic map of building damage types 图 7 房屋倒塌情况专题图 Fig. 7 Thematic map of building damage types --> | |
实验以34个黄金数据作为评判标准，分别计算质量控制前和质量控制后模型判断结果的建筑物损毁情况正确率。需要注意的是，输出的专题图中并没有黄金数据，结果完全由建筑物倒塌评估模型得到，这里的黄金数据仅用来比较质量控制前后答案的准确率。将图 7的两幅专题图同图 4对比可以发现，图 7(a)中的2、20、27、28、37、69、70、79、80、100号房屋同黄金数据标注的答案不一致，图 7(b)中的20、69、70、79、80号房屋同黄金数据标注的答案不一致。
进行质量过滤前，通过建筑物倒塌评估模型计算出的单个房屋损毁情况与黄金数据有10个不一致，正确率为70.59%。使用一致性检验方法对工作者答案进行质量过滤后，单个房屋损毁情况与黄金数据有5个不一致。正确率为85.29%，正确率提升14.7%。这说明，质量过滤后建筑物倒塌评估结果可以作为可靠结果用于判断灾区建筑物倒塌的真实情况，供灾区救援人员参考。
为进行对比，在建筑物倒塌类型评估环节，我们还选用大多数投票算法与最大期望算法进行比较。大多数投票算法是一种将大多数人的评估结果作为最终结果的简单方法，这种方法下的工作者权重都是一致的。使用大多数投票算法得到的房屋倒塌情况结果见图 8。
Fig. 8
 | Download: JPG larger image |
| 图 8 大多数投票算法结果 Fig. 8 Results of most voting algorithms 图 8 大多数投票算法结果 Fig. 8 Results of most voting algorithms --> | |
将结果与黄金数据进行计算后可知，采用大多数投票算法质量控制前正确率为65.71%，质量控制后正确率为77.14%，低于最大期望算法的70.59%和85.29%。这表明由于工作者的经验背景不同，采用大多数投票算法得到的结果具有一定的局限性。实验最终选择最大期望算法的计算结果作为最终结果。
实验还将经过质量控制后的记录，变化每张图片的标注人数得到如下结果，由于图 7(b)已经展示全部工作者(25位)的答案，为避免内容重复，图 9展示的是8位工作者和16位工作者的结果。当展示8位工作者时，结果的正确率为77.14%；展示16位工作者时，正确率为74.29%；展示全部工作者时，正确率为85.29%。
Fig. 9
 | Download: JPG larger image |
| 图 9 变化每张图片标注人数所得到的结果 Fig. 9 Results of the changes in the number of annotations for each picture 图 9 变化每张图片标注人数所得到的结果 Fig. 9 Results of the changes in the number of annotations for each picture --> | |
上述实验表明，参加众包任务的工作者人数与结果正确率之间表现出一些关联。并非工作者人数越多结果正确率越高，受限于实验规模，结果偶然性较大，未了解更多人数参与时结果正确率的变化情形。但是实验结果至少告诉我们，在给定任务的前提下，如何选择恰当数量的工作者使得在费用开销与结果质量等多方面获得最优目标是一个值得深入探索的问题。
在实验区收集到的3 450个记录中，“完好”的房屋占36.52%，“部分倒塌”占39.13%，“完全损毁”占24.35%，结果没有明显地偏向某一种房屋损毁类型。根据上述的众包结果，损毁类型为“部分倒塌”和“完全损毁”的房屋占房屋总量的63.48%，其中实验区东南部房屋损毁情况比较严重，需要救援队展开重点搜救行动。
通过观察房屋倒塌情况专题图，可以发现，震后完好的建筑物一般拥有规则的边界和阴影、规则的纹理特征、一致的光谱特征，建筑物倒塌后会展现出不规则的边界和阴影、破碎的纹理特征、表面灰度值由亮变暗等特征。此外，有一些建筑物的顶部边界形状没有遭到破坏，但侧面墙体受到损坏，甚至整体发生移位，这种情况是遥感像片目视解译难以判断的，需要进一步进行实地考察。此外，在数据源方面，后续研究可以增加多角度的高分辨率光学遥感影像，为解译工作提供更多的房屋视角，进一步提高众包解译精度。
4 结语本文提出一种带有质量控制的基于众包的遥感影像灾情评估模型，模型考虑到工作者答案质量对众包结果的影响，使用一致性检验方法对工作者答案进行过滤，随后采用最大期望算法得到震后灾区的房屋倒塌损毁情况专题图，最终结果可以作为可靠的样本来分析震后损毁房屋的类型特征。这种改进的模型能在地震灾害初期调动广大互联网用户的力量，在震后初期提供可信度较高的遥感目视解译结果，为使用遥感影像评估自然灾害提供出一种新模式。
参考文献
| [1] | 雷添杰, 李长春, 何孝莹. 无人机航空遥感系统在灾害应急救援中的应用[J]. 自然灾害学报, 2011, 20(1): 178-183. |
| [2] | 王晓青, 魏成阶, 苗崇刚, 等. 震害遥感快速提取研究:以2003年2月24日巴楚-伽师6.8级地震为例[J]. 地学前缘, 2003, 10(S1): 285-291. |
| [3] | 王治华, 徐起德, 徐斌, 等. 5.12汶川地震航空遥感应急调查[J]. 中国科学(E辑:技术科学), 2009, 39(7): 1304-1311. |
| [4] | 朱博勤, 魏成阶, 张渊智. 航空遥感地震灾害信息的快速提取[J]. 自然灾害学报, 1998, 7(1): 36-41. |
| [5] | 中国地震局震灾应急救援司. 2006-2010年中国大陆地震灾害损失评估汇编[M]. 北京: 地震出版社, 2015. |
| [6] | 周光全, 卢永坤, 非明伦, 等. 地震灾害损失初步评估方法研究[J]. 地震研究, 2010, 33(2): 208-215. DOI:10.3969/j.issn.1000-0666.2010.02.014 |
| [7] | 杨毅柠, 宋微. 国土调查中的遥感目视解译与矢量化方法研究[J]. 环境保护与循环经济, 2009, 29(10): 20-23. DOI:10.3969/j.issn.1674-1021.2009.10.008 |
| [8] | 赵江华, 王学志, 林青慧, 等. 众包模式在大规模遥感影像信息提取领域的探索[J]. 大数据, 2016, 2(6): 53-64. |
| [9] | 冯剑红, 李国良, 冯建华. 众包技术研究综述[J]. 计算机学报, 2015, 38(9): 1713-1726. |
| [10] | Sorokin A, Forsyth D. Utility data annotation with Amazon Mechanical Turk[C]//Computer Vision and Pattern Recognition Workshops, 2008. CVPRW'08. IEEE Computer Society Conference on, 2008: 1-8. |
| [11] | Yan T, Kumar V, Ganesan D. CrowdSearch: exploiting crowds for accurate real-time image search on mobile phones[C]//International Conference on Mobile Systems, 2010: 77-90. |
| [12] | Neis P, Zielstra D. Recent developments and future trends in volunteered geographic information research:the case of OpenStreetMap[J]. Future Internet, 2014, 6(1): 76-106. DOI:10.3390/fi6010076 |
| [13] | 童咏昕, 袁野, 成雨蓉, 等. 时空众包数据管理技术研究综述[J]. 软件学报, 2017, 28(1): 35-58. |
| [14] | Tong Y, She J, Ding B, et al. Online mobile micro-task allocation in spatial crowdsourcing[C]//IEEE International Conference on Data Engineering, 2016: 49-60. |
| [15] | Tong Y, Wang L, Zhou Z, et al. Flexible online task assignment in real-time spatial data[J]. Proceedings of the Vldb Endowment, 2017, 10(11): 1334-1345. DOI:10.14778/3137628 |
| [16] | Kazemi L, Shahabi C, Chen L. GeoTruCrowd: trustworthy query answering with spatial crowdsourcing[C]//ACM Sigspatial International Conference on Advances in Geographic Information Systems, 2013: 314-323. |
| [17] | Tong Y, She J, Ding B, et al. Online minimum matching in real-time spatial data:experiments and analysis[J]. Proceedings of the Vldb Endowment, 2016, 9(12): 1053-1064. DOI:10.14778/2994509 |
| [18] | Soden R, Palen L. From crowdsourced mapping to community mapping: the post-earthquake work of OpenStreetMap Haiti[C]//Proceedings of the 11th International Conference on the Design of Cooperative Systems, 2014: 311-326. |
| [19] | Westrope C, Banick R, Levine M. Groundtruthing OpenStreetMap building damage assessment[J]. Procedia Engineering, 2014, 78(8): 29-39. |
| [20] | Fritz S, Mccallum I, Schill C, et al. Geo-Wiki:an online platform for improving global land cover[J]. Environmental Modelling & Software, 2012, 31(7): 110-123. |
| [21] | Perger C, Fritz S, See L, et al. A campaign to collect volunteered geographic information on land cover and human impact[M]. Berlin: ResearchGate, 2012: 83-91. |
| [22] | Baruch A, May A, Yu D. The motivations, enablers and barriers for voluntary participation in an online crowdsourcing platform[J]. Computers in Human Behavior, 2016, 64: 923-931. DOI:10.1016/j.chb.2016.07.039 |
| [23] | Zheng Y, Li G, Li Y, et al. Truth inference in crowdsourcing:is the problem solved?[J]. Proceedings of the Vldb Endowment, 2017, 10(5): 541-552. DOI:10.14778/3055540 |
| [24] | Feng J. QASCA: a quality-aware task assignment system for crowdsourcing applications[C]//ACM SIGMOD International Conference on Management of Data, 2015: 1031-1046. |
| [25] | Fan J, Li G, Ooi B C, et al. iCrowd: an adaptive crowdsourcing framework[C]//ACM SIGMOD International Conference on Management of Data, 2015: 1015-1030. |
| [26] | Li G, Wang J, Zheng Y, et al. Crowdsourced data management:a survey[J]. IEEE Transactions on Knowledge & Data Engineering, 2016, 28(9): 2296-2319. |
| [27] | Feng J, Li G, Wang H, et al. Incremental quality inference in crowdsourcing[M]. Jeju Island: Database Systems for Advanced Applications, 2014: 453-467. |
| [28] | 唐思.众包质量控制算法及评价框架研究[D].杭州: 浙江大学, 2015. |
| [29] | 张志强, 逄居升, 谢晓芹, 等. 众包质量控制策略及评估算法研究[J]. 计算机学报, 2013, 36(8): 1636-1649. |
| [30] | 逄居升.众包质量控制策略及评估算法研究[D].哈尔滨: 哈尔滨工程大学, 2013. |
| [31] | Xie S, Duan J, Liu S, et al. Crowdsourcing rapid assessment of collapsed buildings early after the earthquake based on aerial remote sensing image:a case study of Yushu Earthquake[J]. Remote Sensing, 2016, 8(9): 759. DOI:10.3390/rs8090759 |
| [32] | Dou A, Wang X, Ding X, et al. Quantitative methods of rapid earthquake damage assessment using remote sensing and its application in Yushu Earthquake[J]. Journal of Catastrophology, 2012, 27(3): 75-80. |
| [33] | Cohen J. A coefficient of agreement for nominel scales[J]. Educational & Psychological Measurement, 1960, 20(1): 37-46. |
| [34] | 华琳, 阎岩, 张建. 关于对诊断一致性Kappa系统的探讨[J]. 数理医药学杂志, 2006, 19(5): 518-520. DOI:10.3969/j.issn.1004-4337.2006.05.033 |
