, 吴立新2, 郭甲腾1, 刘善军1 1. 东北大学 资源与土木工程学院, 辽宁 沈阳 110819;
2. 中南大学 地球科学与信息物理学院, 湖南 长沙 410083
收稿日期：2020-12-24
基金项目：国家高技术研究发展计划项目(2011AA120302)。
作者简介：杨宜舟(1987 -)，男，湖北荆门人，东北大学博士研究生;
吴立新(1966-)，男，江西宜春人，中南大学教授，博士生导师;
刘善军(1965-)，男，河北涿鹿人，东北大学教授，博士生导师。
摘要：在国土空间大数据环境下, 基于传统串行叠加分析计算的国土空间开发适宜性评价性能已达极限, 需研究并行化方法, 以利用更多的计算资源提升国土空间开发适宜性评价的效率.在分析基于多空间对象叠加综合评价原理的基础上, 通过引入空间数据预处理方法、空间数据划分方法及并行空间索引, 提出并实现了以并行叠加分析为核心的国土空间开发适宜性评价方法.西南四省的国土空间建设用地适宜性评价应用实验表明: 本文方法相比传统方法性能提升了至少30倍, 且节约了大量的人力物力资源, 解决了传统架构下国土空间开发适宜性评价计算效率低或无法胜任的难题.
关键词：空间开发适宜性评价并行空间索引空间数据划分叠加分析
Assessment of Suitability of Land Space Development Based on Parallel Spatial Overlay Analysis
YANG Yi-zhou1
, WU Li-xin2, GUO Jia-teng1, LIU Shan-jun1 1. School of Resources & Civil Engineering, Northeastern University, Shenyang 110819, China;
2. School Geosciences & Infor-Physics, Central South University, Changsha 410083, China
Corresponding author: YANG Yi-zhou, E-mail: yangyizhou 1987@163.com.
Abstract: In the environment of land space big data, the performance of spatial development suitability evaluation based on serial superposition analysis has reached the extreme. In order to use more computing resources to improve the efficiency of spatial development suitability evaluation, it is necessary to study the parallelization method. Based on overlay analysis for multi factor of the principle of comprehensive evaluation, the spatial data preprocessing method, spatial data partition method and parallel spatial index are introduced, and the spatial development suitability evaluation based on parallel overlay analysis is realized. The application of this method in the suitability evaluation of space construction land in four provinces in Southwest China breaks the situation of low efficiency or incompetence in large-scale calculation under the traditional framework, and the efficiency has increased more than 30 times.
Key words: spatial developmentsuitability assessmentparallel spatial indexspatial data partitioningoverlay analysis
全球人数持续性增长、社会经济飞速发展和自然资源深入开发, 导致资源环境受到前所未有的威胁[1-2].资源环境承载能力和国土空间开发适宜性评价(简称“双评价”)可反映当前资源环境的优势与短板, 可发现未来发展中的问题、冲突、风险和潜力[3], 能为经济、社会、资源和环境保护的可持续发展提供规划决策基础支撑.国土空间开发适宜性评价是在资源环境承载能力评价的基础上, 对生态保护的重要程度以及农业生产、城镇建设的适宜程度进行评价[3].当前国土空间开发适宜性评价方法集中在评价视角扩展、评估框架构建及计算模型改进等方面的探索研究[4-5], 其中基于叠加分析进行评价的方法适用于宏观、微观层次, 是国土空间开发适宜性评价中最常用的分析方法[4].在国土空间大数据发展的背景下, 基于传统串行叠加分析计算的国土空间开发适宜性评价已不能满足用户的性能需求.在2017年中国国土勘测规划院开展的全国尺度“双评价”工作中发现, 传统商业GIS基于串行叠加分析无法完成评价任务.因此, 亟需研发高性能架构下的国土空间适宜性评价计算方法.
近年来, 以并行计算为核心的高性能计算技术得到广泛应用[6-7], 为高效分析大规模空间数据提供了理论和技术支撑[8-11].其中, 以空间数据划分方法实现叠加分析并行化[12-14], 为实现基于并行叠加的国土空间开发适宜性评价提供了条件.然而, 国土空间数据的复杂性导致现有空间数据划分方法不能有效解决基于并行叠加的国土空间开发适宜性评价计算中数据倾斜的问题, 如百万顶点空间对象(大图斑)之间的叠加分析, 会急剧降低评价分析的性能.
因此, 本文在分析空间开发适宜性评价算法模型的基础上, 为避免数据倾斜, 引入了空间数据预处理方法; 以兼顾空间数据划分与检索的方法实现了叠加计算并行化; 在并行叠加分析基础上实现并行化空间开发适宜性评价.
1 国土空间开发适宜性评价1.1 基本原理资源环境承载能力评价中的空间数据集为
 | (1) |
 | (2) |
 | (3) |
 | (4) |
在叠加分析中(见图 1), 空间数据层a中的矢量目标oi需要与空间数据层b进行叠加计算: ①a中的空间对象oi采用式(5)在b中查询获取可能会与其进行计算的空间数据子集{fzi}, 即{fzi}为oi在b中叠加计算的影响域; ②以(oi, {fzi})为叠加分析中最小计算单元进行计算分析; ③计算结果输出.分析上述算法模型发现: ①在叠加计算中影响效率的关键是式(5)所用的方法, 而空间索引满足高效查询获取空间数据的需求; ②(oi, {fzi})之间的计算相互独立, 具有可并行性, 可基于空间数据划分实现叠加计算的并行化.
图 1(Fig. 1)
 | 图 1 空间叠加分析Fig.1 Spatial overlay analysis |
 | (5) |
 | (6) |
2 国土空间开发适宜性评价并行化2.1 并行叠加计算影响因素分析在上述叠加分析算法中, 最小的计算单元为(oi, {fzi}), 各单元之间的计算互不影响, 可利用数据域划分的方法将{(oi, {fzi})}分配至各计算节点, 实现并行化计算.由于空间数据的复杂性, 各{(oi, {fzi})}之间的计算量相差极大, 易导致各计算节点的数据倾斜, 影响并行叠加分析的效率.从叠加分析的参与对象oi, {fzi}上分析其影响: ①oi的影响分析，在实际中, 有些空间对象的信息量非常“巨大”, 包含几万甚至上百万的顶点, 极易导致数据倾斜, 影响并行计算效率; ②{fzn} 的影响分析, oi一般是通过空间索引实现对影响域数据集{fzn}的高效查询与获取, 而空间索引的创建和查询都是基于空间对象近似矩形(空间对象的最小包围盒), 查询结果集合是大于真正发生计算的影响域, 即查询结果中部分空间对象与oi将会产生无效计算, 从而导致计算效率的降低.
从上述分析可知, 提升叠加计算效率的方法有: ①对于空间对象本身oi, 将“大问题”oi转化为多个“小问题”{toi}, 以并行的计算方式解决串行计算的性能问题; ②对于影响域{fzn}, 尽量精确检索范围以获取有效的计算对象, 排除其中的无效计算以提升计算效率.
2.2 空间数据预处理利用空间数据预处理方法可降低信息量“巨大”的空间对象及其影响域中无效计算因素对叠加分析计算效率的影响.设定某一阈值▽ρ, 若叠加分析中所有数据集中的空间对象On中顶点数大于▽ρ, 则进行空间数据对象的拓扑分解, 即将On分解为{tOn}, 其中tOn的顶点数小于等于▽ρ.
如图 2所示, 图 2a是空间对象On, 图 2b是其拓扑分解结果{tOn}; 图 2c是On影响域的查询范围A, 图 2d是{tOn}影响域的查询范围B(tfoi的查询范围为bi), 其中B < A; 通过范围B(图 2d)可排除范围A中图 2c的无效计算对象子集; 图 2f中tfoi与查询的空间对象toi进行计算, 相比于图 2e, 其计算量远小于On与toi的计算量.
图 2(Fig. 2)
 | 图 2 空间数据的预处理Fig.2 Preprocessing of spatial data |
2.3 空间叠加分析并行化2.3.1 兼顾空间数据划分与检索的方法资源环境承载能力数据经过数据预处理后, 转化为空间数据集为{soi}, 空间叠加分析是以{(soi, {fzi})}为最小计算单元.由于空间相邻soi之间的影响域会有较高的冗余, 在数据划分过程中需将空间临近的数据分配至相同的计算节点, 以减少影响域{fzi}在多个节点的冗余.基于Q树的划分方法能很好地顾及空间邻近性, 具体步骤为: ①获取{soi}的数目N, 并根据{soi}的最小包围矩形创建Q树的根节点; ②利用概率函数对{soi}采集样本{ssj}, 并将{ssj}插入已创建的Q树q中; ③清除q中的样本数据, 并以q的各叶子节点{lqj}的空间范围对{soi}进行划分, 即将{soi}中各对象插入q中, 但q的叶子节点不再分裂, 保持原有结构; ④利用q对其他参与计算的资源环境承载力数据集进行划分; ⑤各叶子节点lqj中对应的空间数据子集创建R树.
如图 3所示, q中{lqj}与R树索引集合{lrj}中各对象是一对多关系(lrj={lrij}, 1≤i≤n, n为资源环境承载能力评价的空间数据集数目).其中, q不仅具有空间数据划分的作用, 且在粗粒度上实现对{lqj→lrj}查询检索及数据调度的功能; R树在叠加计算中以较低的计算代价快速获取影响域{fzi}.
图 3(Fig. 3)
 | 图 3 空间数据划分与空间索引Fig.3 Spatial data partitioning and spatial index |
2.3.2 并行空间叠加分析叠加分析并行化流程(见图 4)的主要步骤有: ①参与叠加分析的空间数据集a和空间数据集b采用2.2节方法对数据进行预处理; ②采用2.3.1节的方法对a和b进行划分, 其中a的划分结果为{lqai}, b的划分结果为{lqbj}, 并对{lqbj}建立一一对应的R树索引集合{lqbj→lrbj}; ③{lqai}和{lqbj}是相同结构的Q树划分的结构, 将在Q树中相同叶子节点lqai与lqbj进行一一关联, 关联的结果为{(lqai, lqbj→lrbj)}; ④通过任务动态调度的方法, 将{(lqai, lqbj→lrbj)}分配给各计算节点; ⑤各计算节点中, lqai中的各空间对象通过lrbj检索影响域数据子集, 并进行叠加计算; ⑥重复步骤④和步骤⑤, 直到所有的任务计算完毕; ⑦由于数据预处理拓扑拆分和数据划分冗余的影响, 对叠加分析的结果按照Key值排序进行并行归并; ⑧结果输出.
图 4(Fig. 4)
 | 图 4 叠加分析并行化流程Fig.4 The flow of parallel overlay analysis |
2.4 基于并行叠加的适宜性评价参与国土空间开发适宜性评价的资源环境承载能力数据集{foi}的数量为n, foi中所包含空间对象集为{(Iij, dij)}, Iij为承载力评价结果, dij是空间对象.cck是国土空间开发适宜性评价的约束条件数据, 其所包含的空间对象集为{(Im, cdm)}, Im为评价因子, cdm是空间对象.国土空间开发适宜性评价并行化的流程为: ①基底空间数据bok与fo1进行并行空间叠加分析, 并利用赋值计算模型frk将fo1中因子赋值于bok得到结果to1; ②在toi-1与foi并行空间叠加分析基础上(其中2≤i≤n), 利用frk将foi中因子赋值于toi-1得到结果toi; ③重复步骤②, 直到{foi}和cck都计算完毕, 得到计算结果ton+1; ④利用国土空间开发适宜性评价矩阵或权重模型对ton+1中各空间对象的(I1j, I2j, …, I(n+1)j)进行计算评价, 并将评价结果赋值于该对象; ⑤结果输出.
3 实验本文提出基于并行叠加的国土空间开发适宜性评价方法, 并在Spark分布式内存计算框架上开发实现.在分布式集群中对本文方法进行性能测试, 包含并行叠加计算性能的测试, 以及在国土空间建设开发适宜性评价中的计算性能对比测试.
3.1 实验环境基于并行叠加分析的国土空间开发适宜性评价的实验环境有3台服务器, 各节点的操作系统为RHEL6.7(64位), 计算框架为Spark2.2, 存储框架为hadoop7.5.主节点服务器(1台)配置16核32GB内存, CPU主频为2.0GHz, 外部存储为600GB; 计算节点服务器(2台)包含4个CPU, 总共64核, 计算中仅用60核, 预留4核给操作系统, 各CPU主频为2.0GHz, 外部存储为30TB.
3.2 并行叠加分析性能并行叠加分析性能测试中, 测试数据为云南省2012, 2013年土地利用现状数据, 包含约1500万空间要素对象, 存储大小为21.9GB.通过表 1可知, 在64进程时, 并行加速比达到了42, 并行效率稳定在60%以上.
表 1(Table 1)
 表 1 并行叠加分析性能Table 1 The performance of parallel overlay analysis
| 表 1 并行叠加分析性能 Table 1 The performance of parallel overlay analysis |
3.3 国土空间建设用地适宜性评价性能3.3.1 评价计算性能对比测试云、贵、川、渝地区地形复杂, 导致空间对象呈现小而多、复杂度高的特点, 对计算效率的影响极大, 选择该地区进行国土空间建设用地适宜性评价极具代表性.在这四省范围内, 包含矿山占用土地、地面沉降现状数据、滑坡崩塌泥石流易发区、全国活动断层影响分区、溶塌陷易发分区、重要生态用地、地质遗迹及地质景观、高程、基本农田、规划禁止建设区、坡度、农用地分等定级、土地利用现状等13个数据, 约8000万空间要素, 大小为55GB.以土地利用现状为基底数据, 在与其他12种承载力评价因子叠加分析的基础上进行国土空间建设开发适宜性评价.
表 2是采用不同方法进行国土空间建设用地适宜性评价的性能对比.基于传统商业GIS的单人单机环境(配置为16核32GB内存, CPU主频为2.0GHz, 与实验环境的CPU同构), 在县级尺度上单个指标的计算需耗1~2h, 无法完成4个省份共438个县级的评价工作; 基于传统商业GIS的多人多机方法(9人的专业团队, 15台服务器超200核的计算资源), 约3d完成该任务; 而采用本文提出的并行叠加分析评价方法, 仅用实验环境中的120核, 只需2.4h即能完成所有计算.本文方法相比于多人多机方法, 不仅极大地节省了人力与物力资源, 而且在效率上提升了约30倍.
表 2(Table 2)
表 2 空间建设用地适宜性评价性能对比Table 2 Performance of suitability evaluation
| 表 2 空间建设用地适宜性评价性能对比 Table 2 Performance of suitability evaluation | ||||||||||
3.3.2 矿区建设适宜性评价结果对比验证从西南四省的评价结果中选择局部区域(矿区), 将两种方法进行对比, 以验证本文方法与商业GIS结果的一致性.由于基于商业GIS和本文方法都是将评价因子赋值给土地利用现状基底数据, 通过叠加对比基底数据中相同图斑的分级结果, 两者计算一致.图 5是四川、云南边界的两种评价分级结果的叠加可视化, 其东西长约30公里(东经101.84°~102.14°), 南北长约22公里(北纬26.42°~26.58°).
图 5(Fig. 5)
 | 图 5 矿区建设开发适宜性评价结果Fig.5 Suitability evaluation result of construction and development of mining area |
采用面积占比方法对该区域内建设用地适宜性开发各等级面积占比进行统计.其中, 适宜区占比0.5 %, 较适宜区占比5.4 %, 不适宜区占比85.8 % 和禁止区占比8.3 %, 本文方法与基于商业GIS的统计结果也一致.
图 6为矿区中的功能区域分布(包括塌陷、废弃区、采场区、中转场、矿山建筑等)与评价结果的叠加可视化.由于矿区数据功能区属性仅为两类(中转场地与建筑用地为一类, 塌陷区和废弃区为一类), 但从可视化结果中可知: 中转场地、建筑用地多分布在较适宜区域, 而采场、塌陷区等则分布在不适宜区和禁止区域.与基于商业GIS的评价结果对比可知, 两者空间分布结果一致.
图 6(Fig. 6)
 | 图 6 矿区多数据叠加展示Fig.6 Multi-data overlay display in mining area |
4 结论1) 本文针对大数据环境下以叠加分析为核心的空间开发适宜性评价方法进行了探索与研究, 实现了高效并行化的空间开发适宜性评价, 其核心算法(并行叠加)的加速比与核数呈正相关, 并行计算的效率稳定在60 % 以上.
2) 在西南四省的空间建设适宜性评价实验中取得了良好的效果, 相比于商业GIS的多人多机方法, 效率提升了约30倍, 打破了传统评价方法面临的效率低或无法胜任的局面.
3) 在空间大数据发展趋势下, 未来新型国土空间规划中的空间数据将精度更高、数据量更大、数据种类更加多样化, 对计算的性能要求也会提高, 而本文方法为此提供了可行的高效率评价思路.
参考文献
| [1] | 杜海娥, 李正, 郑煜. 资源环境承载能力评价和国土空间开发适宜性评价研究进展[J]. 中国矿业, 2019, 28(sup2): 159-165. (Du Hai-e, Li Zheng, Zheng Yu. Research progress on assessment of resources and environment bearing capacity and suitability of land space development[J]. China Mining Magazine,, 2019, 28(sup2): 159-165.) |
| [2] | 钟镇涛, 张鸿辉, 梁宇哲, 等. 资源环境承载能力与国土空间开发适宜性智能化评价研究[J]. 规划师, 2020, 36(2): 71-77. (Zhong Zhen-tao, Zhang Hong-hui, Liang Yu-zhe, et al. Smart evaluation on environmental capacity and suitability of national space development[J]. Planners,, 2020, 36(2): 71-77.) |
| [3] | 樊杰. 资源环境承载能力和国土空间开发适宜性评价方法指南[M]. 北京: 科学出版社, 2019: 1-97. (Fan Jie. Guidelines for assessment of resources and environment bearing capacity and suitability of land space development[M]. Beijing: Science Press, 2019: 1-97.) |
| [4] | Zhang X, Fang C, Wang Z, et al. Urban construction land suitability evaluation based on improved multi-criteria evaluation based on GIS(MCE-GIS): case of new Hefei City, China[J]. Chinese Geographical Science,, 2013, 23(6): 740-753. DOI:10.1007/s11769-013-0609-6 |
| [5] | 喻忠磊, 张文新, 梁进社, 等. 国土空间开发建设适宜性评价研究进展[J]. 地理科学进展, 2015, 34(9): 1107-1122. (Yu Zhong-lei, Zhang Wen-xin, Liang Jin-she, et al. Progress in evaluating suitability of spatial development and construction land[J]. Progress in Geography,, 2015, 34(9): 1107-1122.) |
| [6] | CAICT. Big data whitepaper(2018)[EB/OL]. (2018-4-25)[2020-11-24]. http://www.cac.gov.cn/2018-04/25/c_1122741894.htm. |
| [7] | 周本海, 乔建忠, 林树宽. 多核平台的并行实时调度与内存分配算法[J]. 东北大学学报(自然科学版), 2012, 33(3): 357-360, 376. (Zhou Ben-hai, Qiao Jian-zhong, Lin Shu-kuan. Research on parallel real time scheduling and memory allocation algorithm on multi-core platform[J]. Journal of Northeastern University(Natural Science), 2012, 33(3): 357-360, 376.) |
| [8] | Zhao L, Chen L, Ranjan R, et al. Geographical information system parallelization for spatial big data processing: a review[J]. Cluster Computing, 2016, 19(1): 139-152. DOI:10.1007/s10586-015-0512-2 |
| [9] | Wang S, Zhong Y, Wang E. An integrated GIS platform architecture for spatiotemporal big data[J]. Future Generation Computer Systems, 2019, 94: 160-172. DOI:10.1016/j.future.2018.10.034 |
| [10] | Eldawy A, Mokbel M F. Spatialhadoop: a mapreduce framework for spatial data[C]//2015 IEEE 31st International Conference on Data Engineering. Seoul: IEEE, 2015: 1352-1363. |
| [11] | Yu J, Wu J, Sarwat M. Geospark: a cluster computing framework for processing large-scale spatial data[C]//Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems. [s. l. ]2015: 1-4. |
| [12] | Zhou Y, Wang S, Guan Y. An efficient parallel algorithm for polygons overlay analysis[J]. Applied Sciences, 2019, 9(22): 4857. DOI:10.3390/app9224857 |
| [13] | Wang Y, Liu Z, Liao H, et al. Improving the performance of GIS polygon overlay computation with MapReduce for spatial big data processing[J]. Cluster Computing, 2015, 18(2): 507-516. DOI:10.1007/s10586-015-0428-x |
| [14] | Zhao K, Jin B, Fan H, et al. High-performance overlay analysis of massive geographic polygons that considers shape complexity in a cloud environment[J]. ISPRS International Journal of Geo-Information, 2019, 8(7): 290. DOI:10.3390/ijgi8070290 |
