天文大数据挑战与实时处理技术
外文标题：Data Management Challenges and Real-Time Processing Technologies in Astronomy
文献类型：期刊
作者：杨晨[1]
机构：中国人民大学信息学院 北京 100872;清华大学计算机科学与技术系 北京 100084;中国科学院国家天文台 北京 100012
年：2017
期刊名称：计算机研究与发展
卷：54
期：2
页码范围：248-257
增刊：正刊
收录情况：中文核心期刊要目总览
所属部门：信息学院
语言：中文
ISSN：1000-1239
链接地址：http://d.g.wanfangdata.com.cn/Periodical_jsjyjyfz201702003.aspx
DOI：10.7544/issn1000-1239.2017.20170005
基金：国家重点研发计划项目(2016YFB1000602) This work was supported by the National Key Research Program of China
关键词：天文大数据管理;地基广角相机阵;两级缓存;星表簇;索引表
摘要：超大型天文观测技术的出现不仅能够让研究人员观测到新的天文现象,更能用于验证已有物理模型的正确性.这些最新天文成果的发现是建立在海量天文数据的近乎实时产生、管理与分析的基础上,因此给目前的数据管理系统带来了新的挑战.以我国自主研发的地基广角相机阵(the ground-based wide-angle camera array,GWAC)天文望远镜为例,15 s的采样和处理周期都处于短时标观测领域的世界前列,但却对数据管理系统提出了很多问题,包括多镜头并行输出数据管理、实时瞬变源发现、当前观测夜数据的秒级查询、数据持久化和快速离线查询等.基于上述问题,设计了分布式GWAC数据模拟生成器用于模拟真实GWAC数据产生场景,并基于产生的数据特性,提出一种两级缓存架构,使用本地内存解决多镜头并行输出、实时瞬变源发现,使用分布式共享内存实现秒级查询.为了平衡持久化和查询效率,设计一种星表簇结构将整个星表数据划分后聚集存储.根据天文需求特点,设计基于索引表的查询引擎能从缓存和星表簇以较小的代价对星表数据查询.通过实验验证,当前方案能够满足GWAC的需求.
作者其他论文
差分隐私保护下一种精确挖掘top-k频繁模式方法.张啸剑;王淼;孟小峰.计算机研究与发展.2014,51(1),104-114.
大规模图数据可达性索引技术:现状与展望.富丽贞;孟小峰.计算机研究与发展.2015,52(1),116-129.
海量高维向量的并行Top-k连接查询.马友忠;慈祥;孟小峰.计算机学报.2015,38(1),86-98.
基于小数据的在线用户兴趣长程演化研究.李勇;孟小峰;刘继,等.计算机研究与发展.2015,779-788.
云数据管理索引技术研究.马友忠;孟小峰.软件学报.2015,26(1),145-166.
