基于物联网和数据中台技术的自然资源要素综合观测平台构建

删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

本站小编 Free考研考试/2021-12-29

孙益^,¹, 方梦阳², 何建宁², 刘玖芬^,³, 张思源⁴, 杨万涛⁵, 高天胜⁶

1. 中国地质大学（北京）海洋学院,北京 100083

2. 中国地质调查局海口海洋地质调查中心,海口 570100

3. 中国地质调查局自然资源综合调查指挥中心,北京 100055

4. 中国地质调查局呼和浩特自然资源综合调查中心,呼和浩特 010010

5. 中国地质调查局昆明自然资源综合调查中心,昆明 650000

6. 中国地质调查局西宁自然资源综合调查中心,西宁 810000

Construction of a comprehensive observation platform for natural resource elements based on Internet of Things and Open Data Processing Service technologies

SUN Yi^,¹, FANG Mengyang², HE Jianning², LIU Jiufen^,³, ZHANG Siyuan⁴, YANG Wantao⁵, GAO Tiansheng⁶

1. School of Marine Sciences, China University of Geosciences (Beijing), Beijing 100083, China

2. Haikou Marine Geological Survey Center, China Geological Survey, Haikou 570100, China

3. Natural Resources Comprehensive Survey Command Center, China Geological Survey, Beijing 100055, China

4. Hohhot Natural Resources Comprehensive Survey Center, China Geological Survey, Hohhot 010010, China

5. Kunming Natural Resources Comprehensive Survey Center, China Geological Survey, Kunming 650000, China

6. Xining Natural Resources Comprehensive Survey Center, China Geological Survey, Xining 810000, China

通讯作者: 刘玖芬,女,山东莒县人,高级工程师,从事自然资源要素综合观测研究。E-mail: 13863858360@163.com

收稿日期:2020-09-7修回日期:2020-10-26网络出版日期:2020-10-25

基金资助:

全国自然资源要素综合观测体系规划与部署项目.DD20208063
自然资源要素综合观测数据集成与应用服务项目.DD20208067

Received:2020-09-7Revised:2020-10-26Online:2020-10-25
作者简介 About authors
孙益,男,湖南省岳阳人,博士生,研究方向为自然资源学、海洋科学和含油气盆地分析。E-mail: 1051071634@qq.com

摘要
自然资源要素综合观测数据具有来源多、类型复杂和数据量庞大等特点,需要建立自然资源要素综合观测一体化平台对数据进行统一管理和利用。本文基于物联网与数据中台技术,构建了自然资源要素综合观测一体化平台,主要包括自然资源要素数据中心、物联网中心和模型云中心三大模块,实现了从传感器终端到数据中台、模型云的自动数据传输和互联共享,以及数值分析、加工和综合应用,达到了可视化效果。为自然资源统一管理、全国重要生态系统保护和修复重大工程规划提供技术支撑。
关键词： 自然资源要素;综合观测;物联网;数据中台;一体化平台;模型云;平台架构

Abstract

The characteristics of the comprehensive observation data of natural resource elements are multiple sources, complex types and huge data volume. It is necessary to establish a comprehensive observation platform for natural resource elements (COPN) for the unified management and utilization of data. This article builds a comprehensive observation platform for natural resource elements (COPN) based on Internet of Things (IoT) and Open Data Processing Service (ODPS) technology, it mainly includes three modules: a natural resource element data center, an Internet of Things center, and a model cloud center. The platform enables the processes of data transmission, processing, and analysis from sensors to model clouds. The COPN serves the integrated management of natural resources across China and provides decision support for macro-control. The platform designed in this study will explore the design of various natural resource element related models and modularize them for scientific research and practical applications.

Keywords：natural resource elements;comprehensive observation;Internet of Things (IoT);Open Data Processing Service (ODPS);platform for natural resource elements (COPN);cloud model;platform architecture

PDF (11325KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex 收藏本文
本文引用格式
孙益, 方梦阳, 何建宁, 刘玖芬, 张思源, 杨万涛, 高天胜. 基于物联网和数据中台技术的自然资源要素综合观测平台构建. 资源科学[J], 2020, 42(10): 1965-1974 doi:10.18402/resci.2020.10.13
SUN Yi, FANG Mengyang, HE Jianning, LIU Jiufen, ZHANG Siyuan, YANG Wantao, GAO Tiansheng. Construction of a comprehensive observation platform for natural resource elements based on Internet of Things and Open Data Processing Service technologies. RESOURCES SCIENCE[J], 2020, 42(10): 1965-1974 doi:10.18402/resci.2020.10.13

1 引言

自然资源指在当前科技条件下,可被人类开采并用于提升生活质量水平的自然物或环境^[1,2]。近年来,土壤、森林、大气、海洋等各类自然资源的调查、监测、观测等工作已经获得了海量的科学数据,驱使各部门建设了规模不等、质量各异的数据平台,但因其观测对象和观测手段的差异,不同时空尺度上的数据难以衔接,存在数据相对独立封闭、标准不一、难以共享等问题^[3,4,5,6]。新时代发展需要以习近平生态文明思想为指导,坚持“山水林田湖草”是一个生命共同体的理念,系统开展自然资源要素综合观测,以服务于中国生态文明建设和经济发展。而开展综合观测,需要采取空-天-地多种先进技术手段,必将产出大量多元异构数据。如何科学管理和应用这些数据已经成为自然资源要素综合观测的关键问题。因此,需要在自然资源要素综合观测体系总体框架下,统一观测数据标准,建立全要素、全流程、全周期的数据质控体系,搭建基于大数据、云计算、物联网技术的一体化平台^[7]。本文运用现有物联网技术和数据中台技术,设计了综合观测一体化平台,以实现观测站点实时管理以及数据实时传输、多源融合、质量控制、共享服务等功能。

2 物联网和数据中台技术介绍

随着时代的进步,大量带有实时通讯功能的设施装备应用到观测网络中,产生的海量多元异构数据的存储、传输、融合以及数据信息深度挖掘,催生了数据中台和物联网两大技术的发展,将人类社会推向了数字时代^[8,9,10]。物联网与数据中台技术在近些年的技术实践中显示出传统技术所不具备的诸多优点,譬如物联网能实现实时传递全覆盖领域内准确、多维的数据信息;数据中台能在复杂、多源数据环境中提供稳定且规范的数据服务,这些为构建自然资源要素综合观测一体化平台提供了强有力的技术保障。

2.1 物联网技术

物联网的出现,掀起了信息界继计算机与互联网之后的又一次巨大革命。其概念最早可追溯到美国麻省理工学院于1999年提出的网络无线射频识别系统,旨在利用射频等相关技术连结互联网与指定物品,达到识别与管理的智能化^[11,12]。物联网在2005年由国际电信联盟组织提出并正式出现在公众视野。在2010年的中国两会上,政府工作报告指出要利用物联网技术推动经济发展方式的转变,深度结合各行业生产运营,推动社会经济健康发展^[13,14],由此,将物联网技术提升到战略高度。物联网的本质是通过网络与通讯技术,将人与人、人与物连结起来的巨大网络系统^[15,16,17]。据估计到2022年中国物联网的设备总数将达到70亿,且数据在后续的数年间仍将保持爆炸式增长^[18,19,20]。物联网存在的基础在于传输信息的互联网与采集信息的传感器终端^[21,22],作为现实世界与虚拟世界的桥梁,物联网提供海量多元异构数据的同时,亦使传统数据加工处理方式面临的新挑战^[23,24,25]。在自然资源要素综合观测中,物联网技术将前端观测传感器、实验室设备串联起来,为一体化平台中后端应用服务提供实时、稳定的数据流。

2.2 数据中台技术

数据中台技术在数据管理的发展中逐渐形成,数据管理大体上经历了“手工报表—数据仓库—数据平台—数据中台”的阶段（表1）,其发展紧紧关联着行业内生产数据的量级、类型的变化趋势^[26]。数据中台可被视为一个集采集、加工、管理、共享功能于一体,将标准化数据提供给应用层的服务平台^[27,28]。国内最早在2015年被阿里巴巴提出并实施,随后各大互联网公司相继提出了中台战略,将数据中台技术推到了一个新高度。伴随各行各业的大数据发展,数据中台这一技术迅速从互联网、电商等行业向科研、通讯、气象、电力、农业、城市管理等诸多领域拓展延伸,为挖掘各领域累积的海量数据信息资源提供技术支撑^{[28,29,30,31]}。在自然资源要素综合观测中,数据中台承接着由物联网体系实时传输的多维数据流,在将其处理成预定格式后,分配至模型云中心与数据中心进行计算和储存,为自然资源要素综合观测提供准确、包容的数据服务。

Table 1
表1
表1数据管理系统对比表
Table 1Comparison table of data management systems

数据管理系统	特征
手工报表	数据量较少,多利用Excel等文件工具
数据仓库	数据量较多,多为结构化数据
数据平台	数据量大,多为非结构化数据
数据中台	数据量巨大,侧重多源数据的信息资源挖掘

新窗口打开|下载CSV

3 自然资源要素综合观测一体化平台

自然资源是人类生产和发展的物质基础,而人类社会的发展史实际上就是一部对自然资源的改造与利用史^[32]。当今世界资源大国如美、俄、澳等国家已经运用系统的科学理念,对自然资源进行综合的监测与管理^[33,34]。党的十八大以来,中国提出对自然资源实行统一管理,以掌握自然资源间耦合作用和变化趋势,需要长期连续的定位观测数据支撑。因此,自然资源要素综合观测网是一项基础性、紧迫性、长期性的系统工程,在空间尺度上跨越陆地、海洋、大气,在时间尺度上横穿百年^[35,36]。自然资源综合观测具有多要素、多指标、多方法、多数据类型^[37]的特点（图1）,亟需利用物联网、数据中台技术开发综合观测一体化平台,实现观测站点数据实时管理、多源融合、质量控制、实时传输、共享服务等功能。

图1

新窗口打开|下载原图ZIP|生成PPT
图1关键技术特征匹配图

Figure 1Key technology feature matching diagram

3.1 构建目的及原则

构建自然资源要素综合观测一体化平台,旨在按照“山水林田湖草”是一个生命共同体的科学理念,集成各类自然资源要素间相互作用与共同演化机理的数据,探索建立自然资源要素耦合作用模型,为各类自然资源要素的统一管理提供科学理论支撑^[38]。观测一体化平台的设计根据统筹规划、实用便捷、安全高效、开放共享的原则,严格遵循国家及行业相关法规与章程,充分考虑使用对象与环境的需求与特殊性,在保证整体结构稳定、信息安全的前提下,利用大数据、物联网、模型云等先进技术手段搭建自然资源要素综合观测一体化平台。

3.2 总体架构

自然资源要素综合观测一体化平台系统结构主要分为4层,分别是基础设施云（IaaS层）、数据储存层（DaaS层）、支撑平台（PaaS层）和应用层（SaaS层）,如图2所示。基础设施云主要包括计算资源、存储资源、网络资源和土壤、水、大气等资源要素的观测终端,其中部分终端与专职部门、科研院所已有项目合作共建或共享,部分根据需求自主筹建。数据储存层采用关系型与分布式存储相结合的方式,包括基础支撑数据库、要素观测数据库、专题数据库和运行维护数据库。支撑平台包括二、三维GIS引擎、模型云中心、物联网中心和管理系统,用以支撑上层应用系统建设。应用层包括门户展示系统和分析评价系统,实现数据展示与分析评价。

图2

新窗口打开|下载原图ZIP|生成PPT
图2自然资源要素综合观测平台总体架构图

Figure 2Overall architecture of the comprehensive observation integration platform for natural resource elements

3.3 主要模块组成

3.3.1 自然资源要素数据中心

数据中心是综合观测数据资源体系建设的核心,主要包括观测数据资源目录、数据模型构建、数据标准化整合、数据库以及数据联动更新。综合观测数据资源目录是自然资源数据互联互通、共享交换的基础,资源目录的范围涵盖一、二、三级观测站点数据,包括基础支撑数据、要素观测数据、要素专题产品数据和系统维护数据等。通过对自然资源综合观测数据资源进行梳理,分析数据之间的层次、类别和关系,对自然资源要素综合观测领域的数据资源进行统一规划,制定统一数据资源编码与分类体系。

其中,要素观测数据库主要包括物联网数据、基础数据库和决策分析库（图3）,涉及海量结构化数据和非结构化数据,因此采用关系型数据库与分布式系统混合存储模式实现对自然资源大数据的存储与管理。分布式架构部分用于存储离线海量结构化数据、半结构化数据和非结构化数据,传统关系型数据库部分用于存储数据量较小的结构化数据。因为查询与处理速度高且所需储存空间只需传统关系型数据库的一半,所以针对物联网部分的海量流数据、时间序列数据、监测数据采用时序数据库。

图3

新窗口打开|下载原图ZIP|生成PPT
图3自然资源要素观测数据库架构图

Figure 3Architecture of the observation database of natural resource elements

3.3.2 自然资源要素物联网中心

自然资源种类繁多,包括土壤、冻土、地热、矿产、地下水、草原、湿地、湖泊、河流、冰川、海水、海岸带等,因此终端传感器的数量同样巨大。物联网中心对所有自然资源观测终端与数据进行统一管理和标准化处理,因此物联网中心须具有高度的适配性以兼容不同的观测终端与数据传输技术,为自然资源观测综合应用提供集中且标准的观测数据。

物联网中心是数据传输进入自然资源要素数据中心的重要途径。物联网中心提供连接管理、设备管理、感知数据管理、系统管理及安全管理等功能,通过对传感器的统一接入和管理,对传感器位置、状态等自身信息以及传感器获取信息的统一处理,为综合业务应用提供感知决策数据支持（图4）。

图4

新窗口打开|下载原图ZIP|生成PPT
图4自然资源要素综合观测物联网架构图

Figure 4Architecture of the Internet of Things for the comprehensive observation of natural resource elements

3.3.3 自然资源要素模型云中心

模型云技术指构建一套基于“云端”的模型服务平台,充分考虑资源间的相互作用,形成集各类自然资源空间结构分析、承载力适宜性评价、作用机理剖析、耦合平衡研究等所有服务为一体的模型计算平台,主要包括云端模型计算平台和本地业务访问系统,云端平台又包括前置服务、调度服务总线、模型运行虚拟化容器、共享数据服务等（图5）。

图5

新窗口打开|下载原图ZIP|生成PPT
图5自然资源要素综合观测模型云中心架构图

Figure 5Cloud center architecture of the comprehensive observation model of natural resource elements

3.4 关键技术

3.4.1 物联网技术

物联网数据具有实时性、动态变化性、海量性、异构性等特点,其性质很好地匹配自然资源要素综合观测全面、连续、系统的功能特性,为探索自然资源各要素耦合关系,把握自然资源变化趋势等新时代、新课题提供坚实的物质基础。

中国国土广袤、资源繁多,一体化平台根据自然资源的禀赋特征,结合当地实际选择蜂窝移动通信网或者窄带物联网,采取灵活多样的运营方式,科学布设物联网物端传感器于预定资源区。在预定资源区内的传感器终端将温度、熵情、湿度、光照度、风向、气压、植被覆盖度等数据信息实时采集并传输到数据中心,经过筛选与规范化处理后,这些数据信息将被储存备份并共享至互联网云端,实现自然资源“全要素、全领域”的覆盖（图6）。

图6

新窗口打开|下载原图ZIP|生成PPT
图6自然资源要素综合观测物联网体系图

Figure 6Internet of Things system for the comprehensive observation of natural resource elements

3.4.2 数据中台技术

数据中台技术作为数据界面的新架构,其功能是对愈发庞大且多渠道的自然资源观测数据信息进行规范化处理,将数据从应用界面剥离出来,再进行计算与加工。数据中台关联着自然资源要素观测数据体系中数据的产生、收集、传输、储存、共享、使用、更新等每一个环节。数据体系分为4个层级：贴源数据层主要由自然要素综合观测数据、原有积累数据和其他站网共享数据组成;统一数仓层由地下资源域、地上资源域和海洋资源域组成;标签数据层由管理人员标签、科研人员标签和用户标签组成;应用数据层主要由资源资产管理、国土空间治理和生态保护修复等组成（图7）。数据中台架构如下：数据分析应用层主要对应一体化平台最顶层的服务对象,面向资源资产管理应用、国土空间整治应用、生态保护修复应用和科研数据共享应用等;数据服务引擎主要包括数据查询服务、实时数据服务、数据分析服务和批量数据服务等;统一数据层主要包括地理信息数据、科研信息数据、数据集信息数据、人员信息数据等,涵盖了项目内自建站的山水林田湖草观测数据,合作共建站共享数据;数据资产管理主要包括数据资源目录、数据模型、元数据、指标体系、算法模型、数据安全等;数据运营管理主要包括运营策略、服务规范和保障体系等（图8）。

图7

新窗口打开|下载原图ZIP|生成PPT
图7自然资源要素综合观测数据体系图

Figure 7Data system of the comprehensive observation platform for natural resource elements

图8

新窗口打开|下载原图ZIP|生成PPT
图8自然资源要素综合观测数据中台架构图

Figure 8Structure of the Open Data Processing Service (ODPS) of the comprehensive observation data of natural resource elements

4 观测一体化平台运用实例

目前,人类对自然资源的过度开发利用导致生态环境问题频发,亟需通过科学系统化的结构调整,转变资源开发方式,实现自然资源科学可持续开发利用^[39,40,41]。平台的初步建成实现了自然资源数据“采集—加工—储存—分析—共享”的流程化处理,自然资源观测数据在处理过程中可以通过虚拟地图辅助研究与管理,实现自然资源要素综合观测的图文一体化工作推进,保证客户端的实用、高效。

一体化平台根据功能分为三维展示系统和综合分析与管理系统。其中,三维展示系统主要展示各类自然资源在不同时空上数量、质量现状和变化趋势,其功能主要包括：①自然资源界面：主要展示资源总量、变化、分类、区划等内容;②物联网界面：主要包括观测站、实验室分布、观测手段及方法等内容;③数据汇总储存界面：显示自然资源数据总量及增量、数据来源及数据下载量等内容分析等服务;④在线模型界面：展示服务自然资源统一管理和功能评价等各类模型;⑤成果展示界面：主要展示自然资源观测基础数据和专题成果等（图9）。

图9

新窗口打开|下载原图ZIP|生成PPT
图9自然资源要素综合观测一体化平台界面图

Figure 9Interface of the comprehensive observation platform for natural resource elements

综合观测与管理系统主要服务数据分析、模型构建及科学研究等相关工作,包括：①观测站和实验室管理：主要有基本信息、人员信息和设备信息管理等;②数据管理：包括观测站基础数据和实验室分析数据管理,主要对相关数据进行清洗、加工、预处理;③综合模型分析：通过构建不同自然资源模型,利用基础观测数据对自然资源数量、质量和耦合作用过程等内容进行综合分析和评价;④科普知识管理：分为科普知识展示和内容管理,主要创作科普文章、视频、图片等科普资料;⑤系统管理：主要包括菜单、用户、角色、权限管理（图10）。

图10

新窗口打开|下载原图ZIP|生成PPT
图10自然资源要素综合观测分析管理功能图

Figure 10Analysis and management functions of the comprehensive observation platform for natural resource elements

利用物联网与数据中台技术搭建的自然资源要素综合观测一体化平台,能够对各资源要素的观测数据进行整合,具体步骤为基础观测数据经由物联网汇集到自然资源数据中心,经过数据中台的加工与规范,上传至模型云中心,最后进行计算。随着后续自然资源综合要素观测一体化平台的完善,全国各资源区观测站的建立、同科研院所已有观测网的进一步合作,数据通道进一步打通,首批试点地区观测数据上线运行,实现自然资源要素观测项目数字化、信息化、专业化以及数据共享服务,更好为自然资源要素统一管理和综合分析提供依据。

5 结论与讨论

5.1 结论

自然资源要素综合观测一体化平台包括大数据中心、物联网中心、模型云中心在内的诸多模块。该平台能较好地承载自然资源综合观测项目科学、多元、共享的需求;通过物联网中心统一管理与维护前端数据采集传感器;通过大数据中心完成多源数据融合与储存;通过模型云中心挖掘分析自然资源观测数据的科研和经济价值,通过综合展示平台实现自然资源观测数据的可视化与发展趋势研判。

5.2 展望

随着自然资源要素综合观测站网的扩展以及与科研院校合作的加深,自然资源要素综合观测形势逐渐明朗,全方位一体化的综合观测体系也逐渐走向完备。模型云中心在线模型的不断加入,将为探索自然资源要素间耦合关系与发展趋势提供有效手段。该平台在线模型尚在探索性的推进中,将陆续拓展水资源、森林资源、风能资源、海洋资源和生物资源等在线模型,用以指导资源相关产业的开发与管理。总之,自然资源要素综合观测一体化平台目前仍在探索与建设并行的阶段,但可以预见的是,一体化平台将根据社会乃至国家的需求,在海量自然资源大数据的支持下,不断进行结构优化与服务拓展,终将成为国家发展与宏观战略的重要技术支撑。

参考文献原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子

[1]

黄贤金. 自然资源统一管理: 新时代、新特征、新趋向
[J]. 资源科学, 2019,41(1):1-8.