近年来,全球最大的天文学国际合作项目“平方公里阵列射电望远镜(Square Kilometre Array,简称SKA)”已被列入我国列为重点发展的大科学工程。SKA取得预期科学成果的关键在于科学数据处理能力。SKA超大规模的数据运算遭遇到I/O吞吐和数据实时存储的限制等重大瓶颈问题,常规的数据运算解决方案是采用I/O并行化来提高数据读取速度,但对于SKA产生的海量数据来说,大规模并行存储底层I/O技术成为SKA科学数据国际工作组亟待攻克的重大技术难题之一。
在武向平院士指导下,我台安涛研究员带领的SKA科学数据处理团队和澳大利亚国际射电天文研究所(ICRAR)Andreas Wicenec教授领导的团队合作开发基于ADIOS的并行Casacore Table Data System (CTDS)。合作团队开发了Adios Storage Manager (AdiosStMan)数据存储管理系统以作为中间件来实现天文数据处理软件与并行化I/O的连接,相对于已有的主流射电天文数据处理系统,AdiosStMan在数据底层采用了全新的I/O并行机制以实现高吞吐量的海量数据存取,从而有效地降低了在开发SKA科学数据处理器原型中所遇到的I/O瓶颈,并解除了当前射电天文数据处理系统在SKA数据处理管线系统中进行二次开发存在的限制,为SKA大规模并行存储底层I/O技术的开发提供了必要的经验。
在本项合作研究中,上海天文台承担了AdiosStMan后期的升级任务,本次升级最大的改进是将最大可写入Casa数据表的尺寸提高到TB量级。目前已经完成了改进版本并在澳大利亚Pawsey高性能计算中心的Magnus超级计算机上完成了性能测试,本次测试中可写入Casa数据表的尺寸已达到324GB(其中单节点的内存为128GB),在目前硬件平台上实现了100Gb/s量级的数据写入。该升级版本使用了多次打开ADIOS文件列的方法,从而有效地解决了原有版本对物理内存空间依赖的问题,突破了长期以来困扰的大规模数据并行读写的难题,使得AdiosStMan从概念验证阶段上升至实用样机阶段,该技术已达到国际领先水平。合作团队中的青年技术骨干劳保强和王若楠已将该改进版本发布至GitHub的SKA科学数据处理共享平台,得到了国际同行的重点关注。
附:
国际大科学工程“平方公里阵列射电望远镜(Square Kilometre Array,简称SKA)”是国际天文界计划建造的世界最大综合孔径望远镜,为人类认知宇宙、探索第一代天体形成、星系演化、引力本质、地外生命与地外文明等科学问题提供了重大机遇。SKA建设涉及天文学、电子信息科学、计算数学与系统科学等众多科学领域,集成众多高科技成果,其巨大规模和复杂程度,特别是其对EB量级的数据对采集、传输、处理和存储能力提出了严峻的挑战,这些大数据处理关键技术的解决将创造人类科学探索工程的新纪录。SKA总投资65亿欧元,其中建设准备阶段(2012-2017)和建设第一阶段SKA1(2018-2023)的投资占10%。我国是SKA首倡国之一,国务院授权科技部代表中国参加SKA组织。上海天文台积极投入SKA国际合作,结合上海建设具有国际影响力科创中心的发展战略,率先提出在上海建设SKA亚洲科学中心,该提议已被列入了《上海市科技创新“十三五”规划(征求意见稿)》,也被纳入中科院上海分院2016年重点推进的重大工程项目之一,并作为上海天文台“十三五”期间重点培育项目。建设SKA亚洲科学中心是中国一跃成为天文大国的难得机遇,为中国天文学实现跨越发展提供了强大动力。
SKA国际官方主页:https://www.skatelescope.org/
SKA中国主页: http://www.nrscc.gov.cn/nrscc/gjhz/ska/skaj/skajj/skawyj/
联系人:安涛 antao@shao.ac.cn
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
我台与澳大利亚国际射电天文研究所的SKA合作取得新进展_上海天文台
上海天文台 免费考研网/2018-05-06
相关话题/科学 数据 国际 天文 技术
上海天文台发现一个暂现黑洞的爆发_上海天文台
如果一个黑洞和一颗小质量恒星由引力联系,彼此相互绕转,会发生什么?小质量恒星的物质会被黑洞当成食物一点点吞噬,由于角动量(转动的能力)守恒,物质流一边旋转一边向黑洞中心下落,由于粘滞作用在黑洞周围形成一条腰带,称为吸积盘。 大多数情况下,由于这些气体仅发出了暗弱的光,即使借用望远镜,也无法观测到黑 ...上海天文台 上海天文台 免费考研网 2018-05-06上海天文台在银河系的近邻卫星星系NGC55中发现X射线瞬变源候选体_上海天文台
我们的银河系在宇宙中并不是孤独的,有一些小星系就像卫星一样围绕着它,也因此被称作银河系的卫星星系。在南半球,不需要借助望远镜,就能轻易看见天空中的两个云状的天体结构,它们就是银河系卫星星系中的两大代表——位于16万至20万光年之外的大麦哲伦云和小麦哲伦云。这些小星系是由什么构成以及如何形成,是目前热 ...上海天文台 上海天文台 免费考研网 2018-05-06被遗忘的角落:宇宙学空洞中的星系——上海天文台在空洞星系的性质领域取得新进展_上海天文台
星系在宇宙中的三维空间分布并不是均匀的,大型红移巡天发现宇宙中存在网状结构:在“网”的节点处,星系分布的密度非常高,星系和星系之间相互作用的频率较高,科学家们把这样的区域叫做星系团,星系团的尺度大约为几百万光年;在“网”的孔洞处,星系极其松散的分布在宇宙空间中,科学家们将这样的大尺度结构称为宇宙学空 ...上海天文台 上海天文台 免费考研网 2018-05-06中等质量黑洞候选体HLX-1的爆发之谜——上海天文台科研人员在解谜的路上做出新进展_上海天文台
星系ESO243-49的哈勃图像,小圆圈标记了HLX-1的位置。ImageCredit:NASA,ESAandS.Farrell(UniversityofSydneyandUniversityofLeicester)观测上,黑洞有两个极端的质量,一类是由大质量的恒星死亡坍缩后形成,称为恒星级黑洞,质 ...上海天文台 上海天文台 免费考研网 2018-05-06上海天文台研究人员利用LAMOST发现了一个奇特的恒星流_上海天文台
如果将我们的银河系看成是辽阔的海洋,天文学家就宛如配备望远镜的“渔夫”,孜孜不倦地寻找各种不同类型天体。近日,借助于我国大科学工程郭守敬望远镜(LAMOST)银河系恒星光谱巡天数据,上海天文台的JohnVickers博士和MartinSmith研究员领导的研究小组发现了一个前所未知的恒星流,他们表示 ...上海天文台 上海天文台 免费考研网 2018-05-06Nature Index最新发布中国各单位科学研究情况统计结果_上海天文台
2015年12月17日,《自然》(Nature)出版集团发布了《2015年自然指数中国特刊》(Natureindex2015China),基于自然指数的数据库,分析了从2012年1月1日至2014年12月31日期间的科研文章的作者单位信息,采用了加权分数式计量(WeightedFractionalC ...上海天文台 上海天文台 免费考研网 2018-05-06上海天文台系列研究工作揭秘银河系核球的X型结构_上海天文台
我们所居住的银河系如何演化成它现在的样子,它未来的命运又将怎样,是目前天文学研究的热点领域之一。银河系是一个由中心核球、银盘及暗物质晕构成的大质量旋涡星系。旋涡星系的核球与中心超大质量黑洞紧密相关,理解我们银河系的核球对于构建整个银河系演化的图景至关重要。 近几年来,中科院上海天文台星系宇宙学研究 ...上海天文台 上海天文台 免费考研网 2018-05-06更全,更精确——上海天文台编制了一部银盘外天区的绝对自行星表_上海天文台
星表是记载天体空间位置、速度、亮度、颜色、分类等各种信息的数据表格,它可为天文学、测地学、地球动力学、导航和航天国防等研究和应用提供必不可少的参考数据。在天体测量研究领域,星表方面的成果是衡量一个国家或团队研究基础和实力强弱的主要标准之一,编制高精度的星表是世界各国天体测量工作者所努力追求的重要目标 ...上海天文台 上海天文台 免费考研网 2018-05-06CHILI睁眼看宇宙_上海天文台
——记上海天文台主导的中国丽江积分视场光谱仪顺利安装完成 2015年12月12日由上海天文台郝蕾研究员领导的中国丽江积分视场光谱仪(CHInaLijiangIFU,以下简称为CHILI)项目在云南丽江2.4米望远镜上安装完成。尽管当晚天空云量很多并不适宜观测,但CHILI仍不负众望成功试观测了一颗标 ...上海天文台 上海天文台 免费考研网 2018-05-06天马望远镜成功获得43 GHz VLBI观测干涉条纹_上海天文台
2015年12月7日09:05(BJT)起,上海天文台65米口径天马望远镜与由韩国3台站VLBI网(KVN)和日本4台站VERA组成的KaVA联合开展的43GHzVLBI观测(代码k15tj02d)获得成功。天马望远镜使用常温Q波段接收机(图1),数据采集终端为DBBC2,数据记录速率为1Gbps( ...上海天文台 上海天文台 免费考研网 2018-05-06