大数据分析--RDBMS与MapReduce的竞争与共生
外文标题:Big Data Analysis-Competition and Symbiosis of RDBMS and MapReduce
文献类型:期刊
作者:覃雄派[1]
机构:教育部数据工程与知识工程重点实验室(中国人民大学),北京 100872;中国人民大学信息学院,北京 100872
通讯作者:Qin, X.-P.(qxp199@sina.com)
年:2012
期刊名称:软件学报
卷:23
期:1
页码范围:32-45
增刊:增刊
收录情况:EI(20120814797813)
所属部门:信息学院
语言:中文
ISSN:1000-9825
链接地址:http://d.g.wanfangdata.com.cn/Periodical_rjxb201201003.aspx
DOI:10.3724/SP.J.1001.2012.04091
基金:国家自然科学基金; 核高基重大科技专项; 中央高校基本科研业务费专项资金
关键词:大数据;深度分析;关系数据管理技术;MapReduce
摘要:在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务;而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.
作者其他论文
内存OLAP多核并行查询优化技术研究.焦敏;张延松;王珊,等.计算机学报.2014,1895-1910.
一个基于三元组存储的列式OLAP查询执行引擎.朱阅岸;张延松;周烜,等.软件学报.2014,25(4),753-767.
面向大规模机群的可扩展OLAP查询技术.王会举;覃雄派;王珊,等.计算机学报.2015,38(1),45-58.
内存数据仓库集群技术研究.张延松;王珊;周烜.华东师范大学学报(自然科学版).2014,117-132.
Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP.张宇;张延松;张兵,等.华东师范大学学报(自然科学版).2014,240-251.