向量计算Array OLAP查询处理技术
外文标题：Vector computing oriented Array OLAP query processing tech-nique
文献类型：期刊
作者：张宇[1]
机构：中国人民大学 数据工程与知识工程教育部重点实验室，北京 100872; 中国人民大学 信息学院，北京 100872;中国人民大学 数据工程与知识工程教育部重点实验室，北京 100872; 中国人民大学 信息学院，北京 100872; 中国人民大学 中国调查与数据中心，北京 100872
年：2015
期刊名称：计算机工程与应用
卷：51
期：18
页码范围：24-31
增刊：增刊
收录情况：中文核心期刊要目总览
所属部门：信息学院；数据工程与知识工程教育部重点实验室
语言：中文
ISSN：1002-8331
链接地址：http://d.g.wanfangdata.com.cn/Periodical_jsjgcyyy201518005.aspx
DOI：10.3778/j.issn.1002-8331.1507-0172
人气指数：14
基金：中国人民大学科学研究基金(中央高校基本科研业务费专项资金，No.12XNQ072，No.13XNLF01)。
关键词：数组联机分析处理;数组存储;向量处理;内存联机分析处理
摘要：多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC（Last Level Cache，最后一级cache）大小为中心的优化技术，而众核处理器，如Phi、GPU协处理器，则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长，计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP，简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中，维表规范化为基于向量的维过滤器，事实表规范化为带有多维索引的度量属性。通过多维索引计算，一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算。规范化的向量查找和向量索引扫描具有较好的代码执行效率，并且阶段化的处理模型更好地适应不同的计算平台，将计算阶段分配给最适合的计算平台。同时，Array OLAP是一种面向数据仓库模式特点的设计，向量处理模型设计简单，对于数据仓库维表较小且增长缓慢的特点具有较好的效率。描述了在不同平台上的Array OLAP计算框架 ...More
多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC（Last Level Cache，最后一级cache）大小为中心的优化技术，而众核处理器，如Phi、GPU协处理器，则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长，计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP，简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中，维表规范化为基于向量的维过滤器，事实表规范化为带有多维索引的度量属性。通过多维索引计算，一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算。规范化的向量查找和向量索引扫描具有较好的代码执行效率，并且阶段化的处理模型更好地适应不同的计算平台，将计算阶段分配给最适合的计算平台。同时，Array OLAP是一种面向数据仓库模式特点的设计，向量处理模型设计简单，对于数据仓库维表较小且增长缓慢的特点具有较好的效率。描述了在不同平台上的Array OLAP计算框架并且通过基准测试评估Array OLAP的性能，通过与当前的内存分析型数据库的性能对比，Array OLAP性能超过主流的内存分析型数据库并且可以平滑地迁移到新的硬件平台。 ...Hide
作者其他论文
内存OLAP多核并行查询优化技术研究.焦敏;张延松;王珊,等.计算机学报.2014,1895-1910.
一个基于三元组存储的列式OLAP查询执行引擎.朱阅岸;张延松;周烜,等.软件学报.2014,25(4),753-767.
面向大规模机群的可扩展OLAP查询技术.王会举;覃雄派;王珊,等.计算机学报.2015,38(1),45-58.
无线传感器网络中隐私保护通用近似查询协议.范永健;陈红;张晓莹,等.计算机学报.2014,915-926.
内存数据仓库集群技术研究.张延松;王珊;周烜.华东师范大学学报（自然科学版）.2014,117-132.
