环境空气质量监测数据是公众了解空气质量最重要的依据,被广泛应用于改进空气质量预报、污染过程分析等众多大气污染相关研究。但由于仪器故障、恶劣环境和测量方法等原因,异常数据时有出现。
图1 空气质量监测数据中的典型异常示例
实际应用中通常依赖人工审核识别异常数据,但随着监测站数量的快速增加,人工审核工作量大幅增加,无法满足海量监测数据准实时应用(如准实时同化等)的需求。
针对于此,中国科学院大气物理研究所吴煌坚博士和唐晓副研究员等提出了一套基于残差概率的自动化异常识别方法。该方法使用低通滤波、空间回归等方式拟合监测数据,通过拟合残差的分布特征计算残差概率,进而设计程序自动识别并剔除小概率的异常数据。研究结果表明,引入残差概率可以将多项异常检查有机结合。例如通过假设时间残差和空间残差服从二元正态分布,可以将监测数据的时间一致性和空间一致性协同考虑,更准确地识别异常数据。
该方法可以以准实时方式(1分钟内)对全国1436个国控站点六项常规污染物(PM2.5, PM10, SO2, NO2, CO, O3)监测中的可疑异常数据进行标记和识别。目前该方法已被应用于中国环境监测总站的空气质量预报系统,并计划应用于实时的空气质量监测数据发布系统,为海量监测数据的快速应用提供技术支撑。
该研究已被《大气科学进展》接收并出版。
论文信息:
Wu, H. J., X. Tang, Z. F. Wang, L. Wu, M. M. Lu, L. F. Wei, and J. Zhu, 2018: Probabilistic automatic outlier detection for surface air quality measurements from the China National Environmental Monitoring Network. Adv. Atmos. Sci., 35(12), 1522–1532,http://doi.org/10.1007/s00376-018-8067-9 .
附件下载:
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
如何快速识别空气质量监测数据中的多种异常
本站小编 Free考研/2020-05-27
相关话题/数据 概率
AAS封面故事:一套31年全球高分辨率逐小时海表温度数据
海表面温度(Sea Surface Temperature,SST)是海气相互作用最重要的因子,它是大气的下边界,又受大气条件的控制,天气到气候时间尺度的变化都与其相关。由太阳辐射和地球旋转引起的SST日变化是SST 最重要的变化之一。日变化又是SST变化的重要特征之一,全球海域SST日变化幅度超过 ...中科院大气物理研究所 本站小编 Free考研 2020-05-27气象大数据实验室召开2020年度第一次工作研讨会
2020年5月14日下午,气象大数据实验室工作研讨视频会召开,围绕进一步推进冬奥气象核心技术攻关、建立智能会商系统进行深入交流。中国气象局金荣花副司长、代刊研究员,北京市气象局局长张祖强、副局长梁丰、处长宋巧云、处长刘建忠,北京城市气象研究院副院长陈敏,北京市气象台台长季崇萍,北京大学副校长张平文、 ...中科院大气物理研究所 本站小编 Free考研 2020-05-27《大气和海洋科学快报》被Scopus数据库收录
2019年3月,《大气和海洋科学快报》(Atmospheric and Oceanic Science Letters,AOSL)出版商Taylor&Francis收到Scopus Title Evaluation Support通知:AOSL已通过Scopus内容选择与咨询委员会(Content ...中科院大气物理研究所 本站小编 Free考研 2020-05-27国家发改委促进大数据发展重大工程科学大数据公共服务平台与创新应用示范项目技术专项验收会顺利召开
国家发改委促进大数据发展重大工程科学大数据公共服务平台与创新应用示范项目(以下简称“科学大数据项目”)技术专项验收会于5月21日在北京召开。中科院办公厅网信处处长陈明奇、高级工程师郑晓欢、项目负责人中科院计算机网络信息中心主任廖方宇,北京航空航天大学教授张辉等技术验收专家,以及项目组成员等30余人现 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27“十三五”信息化专项 科学大数据工程、科研信息化应用工程顺利通过二期项目评审
4月24日,中国科学院办公厅组织召开了“十三五”信息化专项科学大数据工程(二期)、科研信息化应用工程(二期)任务书、预算书评审会。 本次会议以视频会议方式召开,会议由院视频会议平台支持。设立三个视频分会场,近80个科技云会视频点,90余人参会。中科院办公厅副主任王树志在院机关会场参会,评审专家组组 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27国家发改委高技术服务业研发及产业化专项基础研究大数据服务平台应用示范项目竣工验收会顺利召开
国家发改委高技术服务业研发及产业化专项基础研究大数据服务平台应用示范项目竣工验收会于9月6日在北京召开。中国科学院科技促进发展局科技合作处副处长邱显杰、中科院计算机网络信息中心副主任谢高岗,特邀专家中科院空天信息创新研究院研究员张兵、中科院网信办特邀顾问吴钰、中科院动物研究所高级会计师汪素芳等,以及 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27中国科学院“十三五”信息化专项科学大数据工程项目进展检查会暨信息化规划中期评估会顺利召开
中国科学院“十三五”信息化专项科学大数据工程项目进展检查会暨信息化规划中期评估会于7月10日在北京召开。项目主管部门院办公厅副主任王树志、网信处处长陈明奇、网信处主管郑晓欢、中科院计算机网络信息中心副主任谢高岗等出席会议。科学大数据工程监理专家马俊才研究员、赵晓芳研究员、陈新处长,信息化专项建设工程 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27中科院STS区域重点项目“基于物联网标识的跨境商品全生命周期智能大数据分析平台研发和应用”项目启动会顺利召开
5月21日,中国科学院科技服务网络计划(STS)区域重点项目——“基于物联网标识的跨境商品全生命周期智能大数据分析平台研发和应用”项目启动会在广州市南沙行政中心召开。 该项目由中国科学院计算机网络信息中心承担,广州中国科学院计算机网络信息中心作为项目参加单位负责项目落地。中国科学院计算机网络信息中 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27国家重点研发计划科学大数据管理系统项目研讨会暨项目验收准备会在西安举行
4月22-23日,国家重点研发计划科学大数据管理系统项目研讨会暨验收准备会在西安建国饭店举行,科学大数据管理系统项目组成员40余人参会。 科学大数据管理系统项目负责人黎建辉对项目目前的整体情况、验收时间节点、指标要求等进行了介绍,强调项目验收必须既要完成项目任务书的指标要求,又要突出项目成果为实际 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27国家自然科学基金重点项目“面向领域大数据的知识图谱构建”启动会在京举行
2月22日,由中国科学院计算机网络信息中心牵头承担的国家自然科学基金重点项目“面向领域大数据的知识图谱构建”启动会在北京举行。国家自然科学基金委信息科学部李建军副主任、中科院前沿科学与教育局孔明辉处长、项目顾问专家及项目参与单位清华大学唐杰教授、百度公司朱勇、祝恒书等共近20人参会。中科院计算机网络 ...中科院计算机网络信息中心 本站小编 Free考研 2020-05-27