海量数据分析的One-size-fits-all OLAP技术
文献类型：会议
作者：张延松[1]
机构：[1]数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学中国调查与数据中心 北京100872
[2]数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
[3]数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
[4]数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
[5]数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
年：2011
会议名称：第28届中国数据库学术会议
会议论文集：第28届中国数据库学术会议论文集
页码范围：1936-1946
会议地点：上海
会议开始日期：2011-10-21
所属部门：信息学院；数据工程与知识工程教育部重点实验室
人气指数：4
浏览次数：4
语言：中文
关键词：OLAP技术;关系数据库;海量数据;数据处理;谓词向量;星型模型
摘要： 通过深入分析OLAP存储模型和查询负载特征，提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术。通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析，评估了技术的可行性。提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构，以维表上规范化的谓词向量操作替代了多样的连接执行计划，实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求，充分利用现代计算机的硬件优势，最小化网络传输和OLAP查询处理代价。实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价，通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率。
作者其他论文
内存OLAP多核并行查询优化技术研究.焦敏;张延松;王珊,等.计算机学报.2014,1895-1910.
一个基于三元组存储的列式OLAP查询执行引擎.朱阅岸;张延松;周烜,等.软件学报.2014,25(4),753-767.
面向大规模机群的可扩展OLAP查询技术.王会举;覃雄派;王珊,等.计算机学报.2015,38(1),45-58.
内存数据仓库集群技术研究.张延松;王珊;周烜.华东师范大学学报（自然科学版）.2014,117-132.
Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP.张宇;张延松;张兵,等.华东师范大学学报（自然科学版）.2014,240-251.
