摘要数据并行训练神经语言模型,旨在不改变网络结构的同时,大幅度降低训练所带来的时间消耗。但由于多设备之间频繁的数据传输,使得整体加速效果并不理想。该文通过实验对比All-Reduce算法和基于采样的梯度更新策略在数据传输上的加速效果,使用了四块NVIDIA TITAN X (Pascal) GPU设备在循环神经语言模型上进行训练,两种方法分别可获得约25%和41%的速度提升。同时,该文还针对数据并行方法的适用性以及不同的硬件设备连接方式对传输速度的影响进行了讨论。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2596
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
基于数据并行的神经语言模型多卡训练分析
本站小编 Free考研考试/2022-01-02
相关话题/数据 神经 语言 结构 实验
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19结合短语结构句法的语义角色标注
摘要该文提出一种结合短语结构句法的语义角色标注方法。结合短语结构句法对句子进行剪枝、子句抽取处理,然后,对处理过的句子进行语义角色分析并还原。最后,结合短语树对还原后的论元边界进行修正。其中,剪枝包括并列结构、插入语的剪枝,子句抽取针对不同形式的子句有不同的处理方式。边界修正主要是针对某些类型论元进 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合先验信息的蒙汉神经网络机器翻译模型
摘要神经网络机器翻译模型在蒙古文到汉文的翻译任务上取得了很好的效果。神经网络翻译模型仅利用双语语料获得词向量,而有限的双语语料规模却限制了词向量的表示。该文将先验信息融合到神经网络机器翻译中,首先将大规模单语语料训练得到的词向量作为翻译模型的初始词向量,同时在词向量中加入词性特征,从而缓解单词的语法 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于卷积神经网络的缅甸语分词方法
摘要音节是缅甸语的最小构词单位。当前主流的基于统计的分词方法效果严重依赖于预先标注的训练样本集规模及人工方式选取特征的质量,然而,缅甸语属于稀缺资源语言,分词语料标注及特征选取面临较大困难。该文提出一种基于卷积神经网络的缅甸语分词方法,首先将缅甸语音节结构特征应用于缅甸语音节词向量特征分布式表示,然 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02交互式问答的关系结构体系及标注
摘要交互式问答是一种对话式的、连续的、前后关联的信息交互形式,交互式问答的关系结构直接体现了交互式场景在不同语言层面上的上下文关联。该文归纳分析了交互式问答中的对话行为和语句关系,在此基础上提出了对应的关系结构体系;为了验证类别体系的合理性,对真实环境中的交互式问答语料进行了对话行为标注和上下文语句 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02中亚语言自然语言处理综述
摘要该文对中亚地区属于同一个语族的土耳其语、哈萨克语等诸语言的自然语言处理现状进行了综述。首先分别回顾土耳其语、哈萨克语和其他中亚语言在词法分析、句法分析、命名实体识别、机器翻译方面的研究进展,随后讨论了与具体语言无关的黏着语词法分析方面的研究情况,最后指出国内外中亚诸语言处理自然语言领域中所面临的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02短语结构树库向句式结构树库的自动转换研究
摘要该文从短语结构和句式结构的区别与联系入手,设计了一种将短语结构自动转换为句式结构的算法。并以清华短语结构树库(TCT)为测试语料,实现了将大规模短语结构语料向句式结构语料的转换。最后,搭建了一套可扩展的可视化系统,用于不同句法结构语料的可视化查看。这一研究不仅实现了两种结构之间的初步转换,而且极 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于循环神经网络的藏语语音识别声学模型
摘要探索将循环神经网络和连接时序分类算法应用于藏语语音识别声学建模,实现端到端的模型训练。同时根据声学模型输入与输出的关系,通过在隐含层输出序列上引入时域卷积操作来对网络隐含层时域展开步数进行约简,从而有效提升模型的训练与解码效率。实验结果显示,与传统基于隐马尔可夫模型的声学建模方法相比,循环神经网 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02试题知识点预测:一种教研知识强化的卷积神经网络模型
摘要在各类在线学习系统中,为了给学生提供优质的学习服务,一个基础性的任务是试题知识点预测,即预测一道试题所考察的知识概念、能力等。在这个任务中,已有方法通常基于人工专家标注或者传统机器学习方法。然而,这些传统方法要么耗时耗力,要么仅关注试题资源的浅层特征,忽略了试题文本和知识点之间的深层语义关联。因 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于子字单元的神经机器翻译未登录词翻译分析
摘要神经机器翻译为机器翻译提供了一种全新的方法,在多对语言之间的翻译质量上,已超过了统计机器翻译,并逐渐成为当前机器翻译的主流方向。未登录词翻译是神经机器翻译的主要难点之一。为了消解未登录词,一种可行的方案是采用BytePairEncoding(BPE)方法。该方法在翻译前将原有的单词拆解为更小粒度 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02分层递阶的网络结构洞占据者挖掘及分析
摘要结构洞是在社会网络信息传播中占据重要位置的一类关键节点。据研究,5%的结构洞控制着50%的信息传播。****们研究了单一粒度网络下结构洞的挖掘方法及分析,然而很多网络存在分层递阶的多粒度结构特性,对分层递阶网络的结构洞挖掘和分析具有现实意义。因此,该文提出了一种分层递阶网络的多粒度结构洞挖掘方法 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
