混合 MapReduce 环境下大数据划分的查询优化
文献类型：期刊
作者：李伏[1]
机构：[1]中国人民大学 信息学院 计算机系,北京 100872
[2]中国人民大学 信息学院 计算机系,北京 100872
年：2012
期刊名称：计算机科学与探索
增刊：不确定
收录情况：中国科技核心期刊
所属部门：信息学院
语言：中文
链接地址：http://d.g.wanfangdata.com.cn/Periodical_pre_5cb52a1f-cebe-4148-baa6-0f53c717e673.aspx
关键词：混合架构;查询优化;划分建议器
摘要：在 MapReduce 与数据库的混合架构中,数据划分是影响查询性能的重要因素.对于开销最大的连接和聚集操作,采用混合 MapReduce 的方式实现,需要大规模数据的跨结点传输,网络传输和 I/O 开销巨大.为了减少传输的数据量,并提高连接操作的查询效率,提出了划分建议器模型.首先,实现 MapReduce和数据库混合架构上的划分建议器,并计算划分代价,生成最优的数据划分方案,提高系统效率.其次,为了减少查询时间,依据划分建议器模型,提出了基于代价优先的生成策略和空间搜索算法,减少划分建议器生成最优方案的时间.最后,通过实验验证了划分建议器的有效性,使系统的整体查询代价最小,显著提高了系统性能.
作者其他论文
基于压缩全文索引的演变图查询.肖洋;朱青;吴粤皖.计算机工程与应用.2015,117-124.
时序图上动态子图查询优化算法.朱青;李红.计算机科学与探索.2014.
完善我国地方税体系的构想.朱青.财贸经济.2014,5-13.
HyDB:集成MapReduce和数据库的高效SaaS架构.覃左言;朱青;李伏.小型微型计算机系统.2012,33(3),512-518.
基于语义相似度的Web信息可信分析.王腾;朱青;王珊.计算机学报.2013,36(8),1668-1681.
