实时数据存储与查询方法
文献类型:专利
发明人:陈跃国[1]
机构:中国人民大学
申请人:中国人民大学
专利类型:发明专利
年度:2015
专利申请日期:2015-03-25
专利公开日期:2015-07-22
专利公开号:CN104794162A
专利申请号:CN201510133517.2
国家或地区:北京
人气指数:3
浏览次数:3
摘要:本发明提供一种实时数据存储与查询方法,存储时,通过采用一致性哈希分片将待存储数据进行划分,在分布式存储系统的至少一个分布式节点中得到携带有一致性哈希分片索引信息的一级索引数据,对同一个分布式节点中的至少两个一级索引数据进行归并处理,形成与该分布式节点相对应的分布式文件块,对分布式文件块内的一级索引数据建立聚簇索引,在与分布式节点对应的分布式文件块内得到携带有聚簇索引信息的二级索引数据,并将该分布式文件块内的二级索引数据写入到对应分布式节点所在的磁盘上,查询时,通过对待查询数据存储时建立的一致性哈希分片索引信息和在分布式文件块内建立的聚簇索引信息,能够准确、快速的定位到需要的结果。
作者其他论文
面向大规模机群的可扩展OLAP查询技术.王会举;覃雄派;王珊,等.计算机学报.2015,38(1),45-58.
Spark上的等值连接优化.卞昊穹;陈跃国;杜小勇,等.华东师范大学学报(自然科学版).2014,263-270,280.
一种电子文件管理系统的自动化测试方法.朝乐门;杜小勇;薛四新.2014.
一种能力属性增强的Web服务信任评估模型.李海华;杜小勇;田萱.计算机学报.2008,31(8),1471-1477.
基于划分的集合相似连接.荣垂田;徐天任;杜小勇.计算机研究与发展.2012,49(10),2066-2076.