Construction of the quality management system for comprehensive observation of natural resources
LIU Jiufen,1, GAO Yang2, FENG Xin3, XUE Yanping3, HE Haiyang,4, LAI Ming5, DAI Xin6通讯作者:
收稿日期:2020-06-8修回日期:2020-08-27网络出版日期:2020-10-25
基金资助: |
Received:2020-06-8Revised:2020-08-27Online:2020-10-25
作者简介 About authors
刘玖芬,女,山东莒县人,高级工程师,研究方向为自然资源综合观测、数据质量管理。E-mail:
摘要
关键词:
Abstract
Keywords:
PDF (3614KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
刘玖芬, 高阳, 冯欣, 薛彦萍, 何海洋, 赖明, 代辛. 自然资源要素综合观测质量管理体系构建. 资源科学[J], 2020, 42(10): 1944-1952 doi:10.18402/resci.2020.10.11
LIU Jiufen, GAO Yang, FENG Xin, XUE Yanping, HE Haiyang, LAI Ming, DAI Xin.
1 引言
党的十八大以来,习近平总书记从生态文明建设的整体视野提出“山水林田湖草是生命共同体”的论断,强调“统筹山水林田湖草系统治理”“全方位、全地域、全过程开展生态文明建设”。2018年10月,自然资源部发布《自然资源科技创新发展规划纲要》,将自然资源要素综合观测网络列入部“十二大科技工程”之首[1]。该工程拟以地球系统科学理论为指导,应用现代空间探测和地面观测技术手段,对气候、地表覆盖、土地和地下四大类资源进行长期、定位、连续的观测,获取野外第一手观测数据[2],有效服务于自然资源统一管理和国土空间治理,实现资源安全保障和自然和谐安定。而真实、可靠、准确的观测数据是实现既定目标的前提条件,因此,构建一套统一的、科学的自然资源综合观测数据质量管理体系,强化数据质量管理和过程管控,是当前亟待解决的主要问题。目前,国际上通行的质量标准体系ISO9000族质量管理体系是由国际标准化组织质量管理体系技术委员会制定的[3],旨在帮助组织实施并有效运行质量管理。针对资源要素观测的质量管理体系研究,多集中在单种资源要素和生态环境观测质量管理等方面,如于新文[4]、王亚玲[5]提出了按照ISO9000族国际质量管理体系标准构建中国气象观测质量管理体系框架;袁国富等[6]按照ISO9000族国际质量管理体系标准,提出了陆地生态系统水环境观测质量管理体系。自20世纪90年代开始,国家推荐使用ISO9000族系列标准作为国家标准和行业标准。但受硬件条件、技术手段等限制,ISO9000系列标准建设要求高、技术准则细,目前中国各类观测网依照ISO标准建立质量管理体系的仍较少。自然资源本身就是一个耦合关联、相互交织的有机整体,要素间错综复杂,观测数据多源异构,必须通过系统的观测和规范的数据质检,以整体推进复杂系统管理。因此,从自然资源综合观测角度出发,依据ISO9000族质量管理体系标准构建质量管理体系既迫切又重要。
本文在辨析国内外观测数据质量管理体系现状的基础上,分析了自然资源综合观测对数据质量管理体系的新需求、新目标,依据ISO9000族质量管理体系标准,从数据采集、融合、共享、传输到形成最终数据产品整个观测流程的角度出发,构建了自然资源综合观测数据质量管理体系框架,选取了关键质量控制指标,设计了质量控制模块,并开发了质量自动控制管理系统,以期为自然资源要素综合观测网络工程提供数据质量保证。
2 国内外观测领域质量管理体系现状
目前,国内外许多国家根据观测网络特征,立足于观测网野外数据采集、数据统一汇交和数据共享方面制定了一系列标准体系规范,如表1所示。Table 1
表1
表1国内外主要观测网络质量管理体系
Table 1
观测网络 | 质量管理体系 |
---|---|
全球长期生态研究网络(ILTER) | DEIMS-SDR动态信息管理体系 |
英国环境变化监测网络(ECN) | 生态站、数据中心两级数据质量管理体系 |
美国长期生态研究网络(LTER) | 标准化元数据质量管理体系 |
美国环境保护局(EPA) | 政策、组织机构/计划和项目3级的质量管理体系 |
中国生态系统研究网络(CERN) | 观测站—分中心—综合中心3级质量管理体系 |
国家环境监测网 | 国家—省—市—县4级质量管理体系 |
新窗口打开|下载CSV
国际上,各类长期观测网络均建立了质量管理体系,如全球长期生态研究网络(ILTER)建立了DEIMS-SDR动态信息管理体系[7,8];英国环境变化监测网络(ECN)建立了生态站、数据中心两级数据质量管理体系[9];美国长期生态研究网络(LTER)建立了标准化元数据质量管理体系;美国环境保护局(EPA)于2001年建立了政策(Policy)、组织机构/计划(Organization/Program)和项目(Project)3个层次的质量管理体系[10,11];北欧五国也在2001年将质量管理体系引入气象观测领域,建立观测台站—资料收集中心两级质量管控体系[12]。
国内各类长期定位观测网络都对数据质量管理体系十分重视,大多按照分级管理的原则建立了多级数据质量管理体系。如中国生态系统观测研究网络(CERN)从建立之初就组建了观测站—分中心—综合中心3级数据质量管理体系,并采取计划—执行—评估3个步骤来完成整个质量管理活动;生态环境部从建立健全监测技术体系、量值溯源基准体系、监测质量控制指标体系、监测质量监督机制等方面入手,建立了国家—省—市—县4级国家环境监测网质量管理体系[13,14];中国气象部门自2016年开始,按照ISO9000族国际质量管理体系标准建设气象观测质量管理体系[15,16,17,18,19];在中国自然资源领域相关观测网中,按照ISO标准建立质量管理体系的还较少,质量控制技术大多以单个流程、人工监控为主,实现全流程、以自动监控为主的尚且不多[20,21,22]。
目前,与自然资源相关的观测台站约700余个,涉及自然资源部、生态环境部、水利部、国家气象部门和中国科学院等多个科研机构和部门。自然资源综合观测体系是在已有观测站的基础上,以融合共建、改造自建、数据共享等形式开展合作。采用“天-空-地”立体观测方法手段,会产出多要素、多空间尺度、多时间尺度的结构化和非结构化数据。自然资源综合观测在对象、指标、方法手段、数据服务等方面更加全面综合,包含更多的过程环节,可分为目标计划、组织实施、数据采集、数据汇交和质量评估5个步骤实现质量过程管理。由于数据来源多、数据类型多、数据标准各异,观测流程长、环节多(图1)。基于以上,本文在积极吸收借鉴国内外先进经验和成熟做法的基础上,科学构建自然资源综合观测数据质量管理体系,以保证观测数据的科学性、准确性、现实性。
图1
新窗口打开|下载原图ZIP|生成PPT图1自然资源要素综合观测数据的特征
Figure 1Data characteristics of the natural resources comprehensive observation
3 自然资源要素综合观测质量管理体系框架设计
3.1 质量管理体系构建目标和原则
质量管理体系是建立质量方针和目标,并指挥和控制组织实现这些目标的体系。自然资源综合观测数据质量管理体系建立的目标是在可实施的条件下,确保长期观测数据规范、准确,具有可比性和完整性,所提供的数据资料符合各种要求(包括不确定度、分辨率、连续性、均一性、时限、数据结构等)。其数据质量管理体系贯穿整个观测系统的运行过程,要求全员参与,对观测全要素、全周期进行质量管理,针对质量风险较大的关键环节(如外部接入数据)进行重点监控。3.2 质量管理体系框架设计
自然资源综合观测数据质量管理体系,主要由目标层、组织层、制度层、控制层及评估层五部分组成(表2)。Table 2
表2
表2自然资源要素综合观测质量管理体系框架
Table 2
体系 | 组成 | 分类 | 职责内容 |
---|---|---|---|
自然资源要素综合观测数据质量管理体系 | 目标层 | 质量目标 | 设立质量管理目标 |
组织层 | 综合研究中心 | 负责一级站数据质量及评估,随机抽检各级观测站数据 | |
一级站 | 负责本站数据质量自检与外来数据审核,并监控二级站提交数据质量 | ||
二级站 | 负责本站数据质量自检与外来数据审核,并监督三级站提交数据质量 | ||
三级站 | 负责本站的数据质量自检与外来数据审核 | ||
制度层 | 外部文件 | 国家、行业规范及上级政策性文件 | |
内部文件 | 涵盖自然资源综合观测网台站建设、运行、数据管理和应用服务等全过程的指导性、规范性文件 | ||
控制层 | 数据采集准备 | 观测规范的质量控制和测量仪器设备的质量控制 | |
数据采集 | 野外长期观测过程的质量管理和控制 | ||
数据汇交 | 数据本身的质量检查和评估(包括外部接入数据) | ||
评估层 | 质量审核与评估 | 对质量目标具体化、量化 |
新窗口打开|下载CSV
3.2.1 目标层
设立自然资源综合观测质量管理的目标,并制定具体的目标量化指标。具体分为质量目标和质量要素两部分:质量目标是指自然资源综合观测体系进行长期联网观测的质量方针和目标,作为整个观测体系运行的基础和依据,所有的质量管理活动都要在质量方针和目标下进行;质量要素是对质量目标的具体化和量化,便于质量管理进行,主要从数据的完整性、准确性、一致性、代表性等方面设置具体的量化指标。
3.2.2 组织层
质量管理体系设置的组织和机构,是数据质量管理体系健康运行的主体。考虑到自然资源区划和现有基础设施分布情况,依据分层异质性表面无偏最优估计方法(MSN)站点布设原则建立综合研究中心—一级站—二级站—三级站4级组织架构(图2),明确各级职责。
图2
新窗口打开|下载原图ZIP|生成PPT图2自然资源要素综合观测4级组织结构及质量管理职责
Figure 2The four-level organizational structure and quality management responsibility for comprehensive observation of natural resources
(1)三级站主要职责。开展野外现场观测工作,负责本站的数据质量自检和本级外来数据的审核。
(2)二级站主要职责。站内设置部分观测场(点),负责本站数据质量自检和本级外来数据审核,并监督三级站提交数据质量。
(3)一级站主要职责。重点进行数据集成与分析,负责本站数据质量自检和本级外来数据审核,并监控二级站提交数据质量。
(4)综合研究中心主要职责。负责一级站数据质量及评估,并随机抽检各级观测站提交数据,确保观测数据质量。
3.2.3 制度层
制度层也是质量文件体系层,是整个质量管理过程的规范化文本,自然资源综合观测质量管理和质量活动的依据,包括外部文件和内部文件。
(1)外部文件。主要指外来的国家、行业规范及上级政策性文件,包括《中华人民共和国国家标准GB/T 19001—2016 / ISO 9001: 2015》《质量管理体系要求》《地质实验室测试质量管理规范》《国家野外科学观测研究站管理办法》《中国生态系统研究网络(CERN)长期观测质量管理规范》丛书等。
(2)内部文件。为一整套涵盖自然资源综合观测网台站建设、运行、数据管理和应用服务等全过程的指导性、规范性文件,包括《自然资源野外观测站建设规范》《野外观测场和样地建设规范》《野外观测仪器配置规范、野外观测站信息化建设技术规范》《自然资源综合观测指标体系》《自然资源综合观测技术规范》《野外样品采集及室内分析规范》《自然资源综合观测数据标准》《自然资源综合观测数据采集指南》《自然资源综合观测数据融合机制》等。
3.2.4 控制层
从数据采集准备期→数据采集期→数据汇交期对数据质量进行全过程控制。
(1)数据采集准备期。包括构建观测规范的质量控制和测量仪器设备的质量控制,观测规范的质量控制需要制定一系列观测标准和规范,对观测人员进行培训,编制年度实验计划,确保数据采集有章可循、人员观测能力达到观测标准和规范要求[23]。
(2)数据采集期。主要针对数据生成过程的各环节,从场地管理、现场采样和观测、室内分析多环节制定一套质量控制措施,要确定测定目标、方法及环境,严格按照规程规范选择仪器设备安装地点,确定数据采集方法和频度,并对仪器设备进行日常维护,确保仪器设备随时处于良好工作状态,同时形成值班日志,便于对观测数据进行溯源。
(3)数据汇交期。侧重对数据本身的质量检查和评估,包括对外部接入数据的检查和评估,各级台站构建数据审核和检验方法、数据自动处理方法,对数据的准确性、完整性、一致性和代表性加以评估,分析数据之间的逻辑关系,提供数据审核的准确性和效率。
3.2.5 评估层
根据质量目标对最终数据产品进行质量管理和评估,主要由综合研究中心完成,开发和完善数据管理平台,规范数据库,包括数据存储和元数据信息规范化,制定数据质量评价量化标准,拟定数据评估内容的标准格式,推动数据的使用与共享。
4 质量控制流程与关键指标选取
4.1 质量控制流程
数据质量控制是数据质量管理体系的核心[24,25],研究与观测业务技术和流程相适应的质控方式是质量体系有效运行的关键。依据自然资源综合观测要素多、技术手段多的特点,利用模块化集成质控技术,建立纵横多级检查制度:纵向上,综合研究中心—一级站—二级站—三级站4级(图3);横向上,观测(测试)—校对—审核3级检查(图4)。图3
新窗口打开|下载原图ZIP|生成PPT图3自然资源要素综合观测质量控制流程图
Figure 3Flowchart of quality control of comprehensive observation of natural resources
图4
新窗口打开|下载原图ZIP|生成PPT图4质检工作流程分析图
Figure 4Process analysis of quality inspection
4.2 不同环节质量检查的关键指标选取
在质控方法上,摒弃质量控制指标一刀切的思想,区别对待不同观测方法、技术手段和控制范围,分别构建4个质控模块:其中,QC0为样品实验测试质控模块,QC1为观测数据内部质量控制模块,QC2为观测数据外部质量控制模块,QC3为数据质量的考核与评估模块。4.2.1 样品实验测试质量控制模块(QC0)
样品实验测试质量控制模块(QC0)主要用于各级观测站野外采集样品实验测试的质量控制,包括样品从接收、加工、测试和报出数据全流程的质量监控。一级站均设省级以上资质认定实验室[26,27],装备配备齐全,能承担各类样品实验测试;二级站设简易实验室,主要负责样品前处理和少量项目的测试;三级站不设实验室,只负责样品野外现场测试,项目组根据样品测试要求分别送往不同级别实验室。
样品分析质量采用QC0模块控制,主要控制指标有准确度、精密度(表3)。在QC0质量控制平台上,开发建设“自然资源综合观测实验室信息管理系统”,实现自动化监控。实验测试数据经QC0质控合格后,提交委托单位进行QC2外部检查(图3),外部检查主要对应具体区域上的自然资源背景和各元素间的相关性进行检查;若不合格,依照数据质量标准规范进行改进,直至合格。
Table 3
表3
表3样品实验室测试质量控制模块(QC0)指标
Table 3
具体指标 | 指标含义 |
---|---|
准确度 | 控制标准物质分析技术指标、样品比对结果、能力验证结果、外检合格率及加标回收率等指标参数。 |
精密度 | 控制样品重复分析合格率、标准物质测试值的重现性等指标。 |
新窗口打开|下载CSV
4.2.2 观测数据内部质量控制模块(QC1)
观测数据内部质量控制模块(QC1)主要是一、二、三级观测站对本级观测数据的内部质量控制。观测站是获取第一手观测数据的直接生产者,一旦发现问题,溯源路径最短,便于及时纠正,是最重要的质控节点。
长期、连续观测中,常常会因为技术方法手段、人员能力、外界环境条件、观测仪器、传输网络和电力供给等原因,造成数据准确性差,数据残缺、冗余、异常等质量问题,因此,QC1模块主要从数据准确性、规范性、完整性3个质量维度7个具体指标上来控制(表4)。其中,准确性表示数据与实体特征的符合程度,可通过正确性、阈值检查、时变检查、逻辑一致性检查、时间一致性检查进行质控。
Table 4
表4
表4观测数据内部质量控制模块(QC1)指标
Table 4
质量维度 | 具体指标 | 指标含义 |
---|---|---|
准确性 | ① 正确性 | 检查观测仪器是否经过检定/校准,是否在检定/校准有效期内,仪器运行是否正常,以及计算、填写是否正确等。 |
② 阈值检查 | 设置某区域某要素指标的极大值、极小值,检查数据是否落在区间内,如冻土温度在20 cm深时,一般在-50℃~50℃之间。 | |
③ 时变检查 | 连续观测数据中,当前数据与前一个数据比较,其差值大于某一阈值时,当前数据可疑。如每分钟气温变化值不会大于2℃。 | |
④ 逻辑一致性检查 | 站内逻辑性检查主要指本级观测数据之间符合客观规律、不彼此矛盾,如干球温度一定不小于湿球温度。 | |
⑤ 时间一致性检查 | 对于长序列连续数据,同一指标在不同年份相同月、日、时、分的数据对比检查。 | |
规范性 | 内容规范 格式规范 | 数据表达格式、内容是否规范,是否按标准要求的内容、格式输入输出。 |
完整性 | 观测数据完整 辅助信息完整 | 数据表达信息是否全面,如有无缺测值,观测场地、观测方法、观测人员等数据辅助信息是否全面。 |
新窗口打开|下载CSV
QC1模块采取观测人员—校核人员—审核人员3级检查制度,采用人工和系统自动检查相结合的方式。其中,结构化数据依托自然资源综合观测一体化平台,开发数据质量控制子系统实现系统自动检查,非结构化数据采用人工与系统相结合的方式。一、二、三级观测站QC1内部检查合格后,提交上一级站进行QC2外部检查;若不合格,依照数据质量标准规范进行改进,直至合格。
4.2.3 观测数据外部质量控制模块(QC2)
观测数据外部质量控制模块(QC2)主要用于上级站对下一级站提交数据的外部检查,因上一级站自然资源观测控制区域范围更大,掌握数据更多,样品测试数据经过实验室内部检查(QC0)合格后提交委托单位进行QC2检查,观测数据经过本级观测站内部检查(QC1)合格后提交上一级站进行QC2检查。
主要利用大数据分析技术,侧重于不同观测尺度上的极值检查、逻辑性检查、缺测值插补和数据完整性、规范性复查,具体指标有区域极值、空间一致性、缺测值和规范性,外部质量控制模块如表5所示。
Table 5
表5
表5观测数据外部质量控制模块(QC2)指标
Table 5
具体指标 | 指标含义 |
---|---|
区域极值 | 各级站根据所控制区域范围,研究该地区自然资源各要素观测指标的阈值,进而对下级站提交数据进行极值检查。 |
空间一致性 | 一级站、二级站根据多站、多区域要素数据间的相关性进行逻辑一致性检查。 |
缺测值 | 对自动观测数据因仪器损坏、数据传输等原因无法补测造成的缺测,上一级站根据相邻多站长时间序列数据的规律进行插补。 |
规范性 | 检查数据格式、内容是否符合要求。 |
新窗口打开|下载CSV
QC2模块依托自然资源综合观测一体化平台,开发观测数据质量控制子系统,采用大数据分析技术进行自动检查,数据经QC2检查合格后,提交到综合中心进行QC3质量评估;若不合格,依照数据质量标准规范进行改进,直至合格。
4.2.4 数据质量的考核与评估模块(QC3)
数据质量的考核与评估模块(QC3)是对各级汇聚数据的质量进行总体考核与评估。数据经过以上内部检查(QC0、QC1)、外部检查后(QC2),统一汇聚到综合研究中心;综合研究中心成立质检办公室、咨询专家组、学术委员会3级机构,质检办公室负责对数据的准确性、完整性、代表性、规范性、可比性、实用性等指标进行量化,咨询专家组、学术委员会对量化指标进行综合评估、考核。考核结果形成质量报告反馈给各观测站,评估后的数据进行发布、共享和应用服务。
5 讨论与结论
5.1 讨论
需要指出的是,自然资源综合观测数据质量管理体系建设过程是一个复杂而具有挑战的工作,在构建数据质量管理体系过程中难免会出现考虑不周情况,尤其在数据的质控标准、数据的传输和发布方面仍需加强研究、不断完善,使其更加全面。此外,随着自然资源观测理论和技术的不断发展和应用,观测过程和环节会发生很大变化,与此对应,管理体系也会有相应的改变,需要动态地修改调整,使其更具有操作性、实用性和科学性。未来结合自然资源综合观测体系建设项目,在实际中开展自然资源观测数据质量管理体系落地应用和成效评价,通过不断总结、完善和提升,以期为自然资源要素综合观测网络工程建设提供数据质量控制保障,为自然资源统一管理和国家生态文明建设提供准确、可靠、真实的数据支撑。
5.2 结论
本文基于自然资源要素综合观测数据质量管理体系管理内容来源多、数据类型多样、过程环节多和数据量大等特点,构建了一套自然资源要素综合观测数据质量管理体系,保证观测数据的准确性、可靠性和真实性。主要结论有:(1)依据ISO9000族国际标准,构建覆盖从数据采集到发布全周期、全过程的质量管理体系,在纵向上建立综合中心—一级站—二级站—三级站4级,在横向上建立观测—校对—审核3级,内外纵横多级检查机制。
(2)提出“模块化集成”质控技术,研究建立样品实验测试质量控制模块(QC0)、观测数据内部质量控制模块(QC1)、观测数据外部质量控制模块(QC2)、数据质量的考核与评估模块(QC3)等基础模块,提高了质控针对性和有效性。
(3)在此基础上,依托“自然资源要素综合观测一体化平台”,研究开发质量管理子系统,实现在线质控,充分利用“大数据”技术,提高质控水平和效率,全面推动自然资源要素综合观测质量管理的标准化、国际化和自动化,促进自然资源要素综合观测事业长期稳定发展。
参考文献 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[本文引用: 1]
[本文引用: 1]
[N]. ,
[本文引用: 1]
[N].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[本文引用: 1]
[本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[本文引用: 1]
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[本文引用: 1]
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[本文引用: 1]
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[EB/OL]. (
URL [本文引用: 1]
[J]. ,
[本文引用: 1]
[J].
[本文引用: 1]