混合MapReduce环境下大数据划分的查询优化
文献类型：会议
作者：LI Fu[1]
机构：[1]Department of Computer Science, School of Information, Renmin University of China, Beijing 100872, China
[2]中国人民大学信息学院计算机系,北京100872
[3]Department of Computer Science, School of Information, Renmin University of China, Beijing 100872, China
[4]中国人民大学信息学院计算机系,北京100872
年：2012
会议名称：第29届中国数据库学术会议
会议论文集：第29届中国数据库学术会议论文集
页码范围：877-887
会议地点：合肥
会议开始日期：2012-10-01
所属部门：信息学院
人气指数：2
浏览次数：2
语言：中文
关键词：数据库技术;系统架构;查询性能;划分建议器;优化算法
摘要： 在MapReduce与数据库的混合架构中，数据划分是影响查询性能的重要因素。对于开销最大的连接和聚集操作，采用混合MapReduce的方式实现，需要大规模数据的跨结点传输，网络传输和I/O开销巨大。为了减少传输的数据量，并提高连接操作的查询效率，提出了划分建议器模型。实现了MapReduce和数据库混合架构上的划分建议器，并计算划分代价，生成最优的数据划分方案，提高了系统效率。为了减少查询时间，依据划分建议器模型，提出了基于代价优先的生成策略和空间搜索算法，减少了划分建议器生成最优方案的时间。通过实验验证了划分建议器的有效性，使系统的整体查询代价最小，显著提高了系统性能。
作者其他论文
基于压缩全文索引的演变图查询.肖洋;朱青;吴粤皖.计算机工程与应用.2015,117-124.
时序图上动态子图查询优化算法.朱青;李红.计算机科学与探索.2014.
完善我国地方税体系的构想.朱青.财贸经济.2014,5-13.
HyDB:集成MapReduce和数据库的高效SaaS架构.覃左言;朱青;李伏.小型微型计算机系统.2012,33(3),512-518.
基于语义相似度的Web信息可信分析.王腾;朱青;王珊.计算机学报.2013,36(8),1668-1681.
