文献详情
一种基于向量索引的内存OLAP星型连接加速新技术
外文标题：A Novel In-Memory OLAP Star Join Acceleration Technique with Vector Index
文献类型：期刊
期刊名称：计算机学报
年：2019
卷：42
期：8
页码：1686-1703
ISSN：0254-4164
关键词：内存OLAP;外键连接;向量索引;向量引用;星型连接加速
所属部门：信息学院；数据工程与知识工程教育部重点实验室
链接地址：http://d.oldg.wanfangdata.com.cn/Periodical_jsjxb201908002.aspx
摘要：星型连接是OLAP中重要的操作,事实表与维表基于星型连接执行多维分析处理.星型连接的性能取决于连接性能.当前研究主要集中在如何在不同的处理器平台上优化哈希连接性能,然而如何获得最优的哈希连接参数或实现是一个复杂的问题.哈希连接不依赖于模式的语义信息,然而却可以在事实表与维表之间通过维映射特征进一步优化连接性能.该文提出了一种新颖的面向OLAP负载的向量索引以提高事实表与维表之间的连接性能.从模式的角度来看,维表可以映射为向量索引,每一个事实表记录可以直接映射到向量索引上的相应位置,无须执行基于值匹配的哈希连接操作.从实现技术的角度看,向量索引是一种位图索引、字典表压缩、主外键参照完整性约束和连接索引相结合的技术.系统化的设计使向量索引可以扮演多种角色:(1)向量索引与位图索引类似起到过滤作用;(2)向量索引相对于只存储0或1的位图索引使用更多的位来表示更多的信息;(3)映射或创建自动增长的主键作为向量索引地址并且更新相应的外键,将主外键参照完整性约束转换为向量参照约束;(4)外键连接操作简化为通过外键值引用向量单元.基于向量索引,OLAP中代价大的星形连接可以抽象为向量索引计算,OLA ...More
星型连接是OLAP中重要的操作,事实表与维表基于星型连接执行多维分析处理.星型连接的性能取决于连接性能.当前研究主要集中在如何在不同的处理器平台上优化哈希连接性能,然而如何获得最优的哈希连接参数或实现是一个复杂的问题.哈希连接不依赖于模式的语义信息,然而却可以在事实表与维表之间通过维映射特征进一步优化连接性能.该文提出了一种新颖的面向OLAP负载的向量索引以提高事实表与维表之间的连接性能.从模式的角度来看,维表可以映射为向量索引,每一个事实表记录可以直接映射到向量索引上的相应位置,无须执行基于值匹配的哈希连接操作.从实现技术的角度看,向量索引是一种位图索引、字典表压缩、主外键参照完整性约束和连接索引相结合的技术.系统化的设计使向量索引可以扮演多种角色:(1)向量索引与位图索引类似起到过滤作用;(2)向量索引相对于只存储0或1的位图索引使用更多的位来表示更多的信息;(3)映射或创建自动增长的主键作为向量索引地址并且更新相应的外键,将主外键参照完整性约束转换为向量参照约束;(4)外键连接操作简化为通过外键值引用向量单元.基于向量索引,OLAP中代价大的星形连接可以抽象为向量索引计算,OLAP查询可以简化为基于向量索引的单表扫描处理.向量索引简化的设计不仅可以提升性能,而且降低了在GPU平台实现的复杂度.本文首先讨论了向量索引机制和如何在数据库中应用向量索引;然后设计向量索引更新机制,以保证在更新时向量参照约束;最后提出基于向量索引的OLAP框架来提高内存数据库OLAP性能.基于向量索引的星型连接可以用作GPU上的OLAP加速器,使CPU可以将计算密集型负载转移到高性能GPU平台来加速OLAP处理.实验结果表明向量索引更新代价较低,而向量引用性能收益较大.更重要的是,向量索引支持OLAP中的星形连接操作在内存数据库引擎之外进行加速,降低了内存数据库的CPU负载,或者将星形连接负载通过硬件级加速器,如GPU进行加速.基于向量索引的星型连接可以显著提升CPU和GPU平台上的星型连接性能,相对于内存数据库Vector,在SSB Q4.1查询可以获得最大3倍的性能提升,平均性能提升了1.2倍. ...Hide

DOI：10.11897/SP.J.1016.2019.01686
百度学术：一种基于向量索引的内存OLAP星型连接加速新技术
语言：中文
人气指数：3
浏览次数：3
基金：国家自然科学基金项目; 北京市自然科学基金资助项目
作者其他论文



内存数据仓库集群技术研究.张延松, 王珊, 周烜,.华东师范大学“数据科学与工程”论坛内存计算数据管理主题报告会论文集华东师范大学. 2014, 117-132.
大数据集成中确定数据准确属性值的WR方法.周宁南, 张孝, 王珊,.第二届CCF大数据学术会议论文集中国计算机学会. 2014, 1-8.
基于用户参与的在线健康平台信息服务质量研究.钱明辉, 徐志轩, 王珊,.情报学报. 2019, 38(2), 132-142.
市委书记个人特征与GDP增长关系的实证分析——基于GDP百强市10年1000份市委书记样本的数据分析.祁凡骅, 王珊,.北京行政学院学报. 2019, 1-8.
内存OLAP多核并行查询优化技术研究.焦敏;张延松;王珊,等.计算机学报.2014,1895-1910.