删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

图嵌入算法的分布式优化与实现

本站小编 Free考研考试/2022-01-02

摘要:随着人工智能时代的到来,图嵌入技术被越来越多地用来挖掘图中的信息.然而,现实生活中的图通常很大,因此,分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;(2)现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低.针对以上两个挑战,首先提出一个通用的分布式图嵌入框架,具体地,将图嵌入算法中的采样流程和训练流程进行解耦,使得框架能够较好地表达多种不同的算法;其次,提出一种基于参数服务器的模型切分嵌入策略,具体地,将模型分别切分到计算节点和参数服务器上,同时使用数据洗牌的操作保证计算节点之间没有模型交互,从而减少了分布式计算中的通信开销.基于参数服务器实现了一种原型系统,并且用充分的实验证明了在不损失精度的前提下,基于模型切分的策略能够比基线系统取得更好的性能.



Abstract:With the advent of artificial intelligence, graph embedding techniques are more and more used to mine the information from graphs. However, graphs in real world are usually large and distributed graph embedding is needed. There are two main challenges in distributed graph embedding. (1) There exist many graph embedding methods and there is not a general framework for most of the embedding algorithms. (2) Existing distributed implementations of graph embedding suffer from poor scalability and perform bad on large graphs. To tackle the above two challenges, a general framework is firstly presented for distributed graph embedding. In detail, the process of sampling and training is separated in graph embedding such that the framework can describe different graph embedding methods. Second, a parameter server-based model partitioning strategy is proposed—the model is partitioned to both workers and servers and shuffling is used to ensure that there is no model exchange among workers. A prototype system is implemented on parameter server and solid experiments are conducted to show that partitioning-based strategy can get better performance than all baseline systems without loss of accuracy.



PDF全文下载地址:

http://jos.org.cn/jos/article/pdf/6186
相关话题/计算 系统 流程 技术 信息

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • KGDB:统一模型和语言的知识图谱数据库管理系统
    摘要:知识图谱是人工智能的重要基石,其目前主要有RDF图和属性图两种数据模型,在这两种数据模型之上有数种查询语言.RDF图上的查询语言为SPARQL,属性图上的查询语言主要为Cypher.10年来,各个社区开发了分别针对RDF图和属性图的不同数据管理方法,不统一的数据模型和查询语言限制了知识图谱的更 ...
    本站小编 Free考研考试 2022-01-02
  • PandaDB:一种异构数据智能融合管理系统
    摘要:随着大数据应用的不断深入,对大规模结构化/非结构化数据进行融合管理和分析的需求日益凸显.然而,结构化/非结构化数据在存储管理方式、信息获取方式、检索方式方面的差异给融合管理和分析带来了技术挑战.提出了适用于异构数据融合管理和语义计算的属性图扩展模型,并定义了相关属性操作符和查询语法.接着,基于 ...
    本站小编 Free考研考试 2022-01-02
  • 基于信息检索的软件缺陷定位方法综述
    摘要:基于信息检索的软件缺陷定位方法是当前软件缺陷定位领域中的一个研究热点.该方法主要分析缺陷报告文本和程序模块代码,通过计算缺陷报告和程序模块间的相似度,选取与缺陷报告相似度最高的若干程序模块,将其推荐给开发人员.对近些年国内外研究人员在该综述主题上取得的成果进行了系统的梳理和总结.首先,给出研究 ...
    本站小编 Free考研考试 2022-01-02
  • GPU数据库核心技术综述
    摘要:GPU以其超高速计算能力和超大数据处理带宽受到数据库厂商及研究人员的青睐,以GPU计算为核心的数据库分支(GDBMS)蓬勃发展,以其吞吐量大、响应时间短、成本低廉、易于扩展的特点,与人工智能、时空数据分析、数据可视化、商务智能交互融合能力,彻底改变了数据分析领域的格局.将对GDBMS的四大核心 ...
    本站小编 Free考研考试 2022-01-02
  • 基于事件社会网络推荐系统综述
    摘要:基于事件社会网络(event-basedsocialnetwork,简称EBSN)是一种结合了线上网络和线下网络的新型社会网络,近年来得到了越来越多的关注,已有许多国内外重要研究机构的研究者对其进行研究并取得了许多研究成果.在EBSN推荐系统中,一个重要的任务就是设计出更好、更合理的推荐算法以 ...
    本站小编 Free考研考试 2022-01-02
  • 深度伪造与检测技术综述
    摘要:深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而近年来,深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带 ...
    本站小编 Free考研考试 2022-01-02
  • 基于U-Net结构改进的医学影像分割技术综述
    摘要:深度学习在医学影像分割领域得到广泛应用,其中,2015年提出的U-Net因其分割小目标效果较好、结构具有可扩展性,自提出以来受到广泛关注.近年来,随着医学图像割性能要求的提升,众多****针对U-Net结构也在不断地改进和扩展,比如编解码器的改进、外接特征金字塔等.通过对基于U-Net结构改进 ...
    本站小编 Free考研考试 2022-01-02
  • 面向AI的数据管理技术综述
    摘要:人工智能技术因其强大的学习和泛化能力已被广泛应用于各种真实场景中.然而,现有的人工智能技术仍然面临着三大挑战:第一,现有的AI技术使用门槛高,依赖于AI从业者选择合适模型、设计合理参数、编写程序,因此很难被广泛应用到非计算机领域;第二,现有的AI算法训练效率低,造成了大量计算资源的浪费,甚至延 ...
    本站小编 Free考研考试 2022-01-02
  • SGX应用支持技术研究进展
    摘要:安全与可信是云计算中极为重要的需求,如何保护用户在云平台上托管的应用程序代码和数据的安全、防止云服务提供商和其他攻击者窃取用户机密数据,一直是个难题.2013年,Intel公司提出了新的处理器安全技术SGX,能够在计算平台上提供一个用户空间的可信执行环境,保证用户关键代码及数据的机密性和完整性 ...
    本站小编 Free考研考试 2022-01-02
  • 面向网络取证的网络攻击追踪溯源技术分析
    摘要:首先定位网络攻击事件的源头,然后进行有效的电子数据证据的收集,是网络取证的任务之一.定位网络攻击事件源头需要使用网络攻击追踪溯源技术.然而,现有的网络攻击追踪溯源技术研究工作主要从防御的角度来展开,以通过定位攻击源及时阻断攻击为主要目标,较少会考虑到网络取证的要求,从而导致会在网络攻击追踪溯源 ...
    本站小编 Free考研考试 2022-01-02