删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于循环神经网络的数据库查询开销预测

本站小编 Free考研考试/2022-01-02

摘要:在数据库负载管理、性能调优过程中,开销预测模型是提高其效率的关键技术.首先,由于数据库系统的复杂性和计算机资源的竞争,很难精确地估计不同操作的开销;其次,现有的研究大多没有真正预测查询的执行时间,而是预测了类似查询优化器中开销模型生成的开销;由于查询计划结构的复杂性,现有研究更多地使用了笼统的查询信息,而很少利用查询计划中操作层面的信息,并依据这些信息来获得开销模型.为了减少负载管理的复杂性,提出了基于循环神经网络的精细模型来预测查询开销,以查询计划中的操作行为及其实际运行时间作为特征提取的来源.特别地,考虑到查询计划结构的复杂性,采用一种特殊的循环神经网络——长短期记忆(long-short term memory,简称LSTM).给一个特定的查询计划,在该计划实际执行之前,模型就能产生其预测的执行时间区间.这会比现有数据库的查询优化器产生的开销预估结果(任意单位)更具有参考性,也优于需要在执行开始之后才能预测的查询进度指示器.所提方法预测查询执行时间,可以解决数据库负载管理中的关键问题.通过实验验证,模型的正确率高于71%,在一定程度上证明了方法的可行性.



Abstract:Query cost models are the key parts of database workload management and performance tuning. Firstly, it is difficult, even impossible, to precisely estimate the costs of different relational operators due to the complexity of database systems and competition of computer resources. Secondly, most existing research work uses general query information without taking advantage of actual operators because of the complexity of query plans. Thirdly, most previous research work does not address the problem of predicting actual execution time of a query but rather predicts the query performance by the cost the like query optimizers generate. To reduce the complexity of workload management, his paper proposes an elaborate cost prediction model based on recurrent neural network through learning from operator behavior and detailed runtime information. In particular, the model uses a special kind of recurrent neural network, called long-short term memory (LSTM). Given an ad-hoc query, the model is able to predict its running time before it starts to run. It is more meaningful than the state-of-the-art query optimizers of existing database systems which only estimate costs in arbitrary units. It is also better than query progress indicators which cannot predict cost before the query runs. This research provides a novel approach to solve the key problem in database workload management. Verified by the experiments, the accuracy of the model is over 71% which shows the method is feasible to some degree.



PDF全文下载地址:

http://jos.org.cn/jos/article/pdf/5439
相关话题/信息 数据库 管理 优化 结构

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 多维图结构聚类的社交关系挖掘算法
    摘要:社交关系的数据挖掘一直是大图数据研究领域中的热门问题.图聚类算法如SCAN(structuralclusteringalgorithmfornetwork)虽然可以迅速地从海量图数据中获得关系紧密的社区结构,但这类社区往往只表示了社交对象的聚集,无法反馈对象间的真实社交关系,如家庭成员、同事、 ...
    本站小编 Free考研考试 2022-01-02
  • 基于向量引用Platform-Oblivious内存连接优化技术
    摘要:以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器,但众多的研究成果并未系统地揭示连接算法性能、连 ...
    本站小编 Free考研考试 2022-01-02
  • 融合社交信息的矩阵分解推荐方法研究综述
    摘要:随着社交网络的发展,融合社交信息的推荐成为推荐领域中的一个研究热点.基于矩阵分解的协同过滤推荐方法(简称矩阵分解推荐方法)因其算法可扩展性好及灵活性高等诸多特点,成为研究人员在其基础之上进行社交推荐模型构建的重要原因.围绕基于矩阵分解的社交推荐模型,依据模型的构建方式对社交推荐模型进行综述.在 ...
    本站小编 Free考研考试 2022-01-02
  • 分布式数据库中一致性与可用性的关系
    摘要:随着各类应用在数据量和业务量上的扩展,单机数据库系统越发难以应对现实需求.分布式数据库能够根据业务的需求动态地扩容,因此逐步开始受到应用的青睐.近年来,分布式数据库产品层出不穷,并在互联网应用中被大量投入使用.然而,分布式数据库的系统复杂度前所未有.为了让系统可用,设计者需要在多种属性中作合理 ...
    本站小编 Free考研考试 2022-01-02
  • 可扩展机器学习的并行与分布式优化算法综述
    摘要:机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.针对梯度下降算法、二阶优化算法、邻近梯度算法 ...
    本站小编 Free考研考试 2022-01-02
  • 区块链与可信数据管理:问题与方法
    摘要:作为支撑比特币实现无中心高可信的账本管理的技术,区块链在金融领域得到了广泛关注.区块链实现了不完全可信环境中的可信数据管理,具有去中心化、防篡改、不可抵赖、强一致和完整性等特性,但同时也存在高延迟和低吞吐率的性能问题.在互联网技术发展、新型应用层出不穷的大背景下,借鉴区块链在数字加密货币应用中 ...
    本站小编 Free考研考试 2022-01-02
  • 多层城市冠层模型参数优化及对京津冀城市群的高温模拟
    摘要摘要:针对京津冀高温模拟,综合运用卫星和地面气象观测数据、参数敏感性试验等技术方法,确定了耦合了多层城市冠层模型的中尺度数值模式(WRF/BEP/BEM)的地表反照率、比辐射率和人为热等参数的本地化配置。数值对比试验表明,参照试验中优化地表反照率、比辐射率和人为热(通过本地优化BEM输入参数来实 ...
    本站小编 Free考研考试 2022-01-02
  • 多层城市冠层模型参数优化及对京津冀城市群的高温模拟
    摘要摘要:针对京津冀高温模拟,综合运用卫星和地面气象观测数据、参数敏感性试验等技术方法,确定了耦合了多层城市冠层模型的中尺度数值模式(WRF/BEP/BEM)的地表反照率、比辐射率和人为热等参数的本地化配置。数值对比试验表明,参照试验中优化地表反照率、比辐射率和人为热(通过本地优化BEM输入参数来实 ...
    本站小编 Free考研考试 2022-01-02
  • 冬季采暖优化对北京地区空气质量的影响
    摘要摘要:空气污染能够影响人体健康、交通运输、农业生产等,会对国家经济造成损失。多年来,北京一直是空气污染严重地区,而冬季燃煤采暖是一个重要的原因。2016~2017年,北京大力优化采暖的能源结构,旨在改善空气质量。本文通过分析5个位于北京不同区域的空气质量监测站的PM2.5、PM10、SO2、NO ...
    本站小编 Free考研考试 2022-01-02
  • 冬季采暖优化对北京地区空气质量的影响
    摘要摘要:空气污染能够影响人体健康、交通运输、农业生产等,会对国家经济造成损失。多年来,北京一直是空气污染严重地区,而冬季燃煤采暖是一个重要的原因。2016~2017年,北京大力优化采暖的能源结构,旨在改善空气质量。本文通过分析5个位于北京不同区域的空气质量监测站的PM2.5、PM10、SO2、NO ...
    本站小编 Free考研考试 2022-01-02