摘要模型存储压缩,旨在在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费。研究人员对于模型存储压缩方法的研究大多数在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究。该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(recurrent neural network)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合方法可在不损失原有模型性能的前提下在Transformer和RNN模型上分别达到5.8×和11.7×的压缩率。同时,该文还针对三种模型压缩方法在不同模型上的优缺点进行了分析。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2702
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
面向神经机器翻译的模型存储压缩方法分析
本站小编 Free考研考试/2022-01-02
相关话题/计算机 实验 视觉 模型 方法
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19基于注意力机制的上下文相关的问答配对方法
摘要目前,关于问答的大部分研究都是面向正式文本的问答对。然而,与以往研究不同的是,该文关注于社会媒体上存在的非正式文本问答对。非正式文本会存在问题文本里包含多个问题以及回答文本里包含多个回答的情况。针对该情况,我们提出了一个新的任务:问答配对,即对问题文本的每个问题,从答案文本中找到和该问题相关的句 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合深度匹配特征的答案选择模型
摘要答案选择是自动问答系统中的关键任务之一,其主要目的是根据问题与候选答案的相似性对候选答案进行排序,并选择出相关性较高的答案返回给用户。可将其看作成一个文本对的匹配问题。该文利用词向量、双向LSTM、2D神经网络等深度学习模型对问题—答案对的语义匹配特征进行了提取,并将其与传统NLP特征相结合,提 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02藏文音节拼写检查的CNN模型
摘要藏文音节拼写检查是藏语自然语言处理的基本任务,在藏文文字处理、文字识别、文本生成等领域具有广泛的应用。该文首先针对藏文音节的结构提出了音节向量化的方法,即音节矩阵。然后构建了适合于藏文音节拼写检查的CNN模型,使用1364880个藏文音节进行训练。最后对68244个藏文音节进行测试。实验结果显示 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多特征融合编码的神经网络依存句法分析模型
摘要在基于神经网络的依存句法分析中,对分析栈和决策层信息的表示和利用依然有值得深入研究的空间。针对分析栈的表示,已有工作并没有对单棵依存子树独立编码的表示,导致无法利用各个依存子树的局部特征;也没有对生成的依存弧序列进行编码,导致无法利用依存弧的全局信息。针对决策层的表示,已有工作利用MLP预测转移 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02航空术语语义知识库辅助构建方法
摘要语义知识库是自然语言处理任务的基础性资源,广泛应用于语义计算和语义推理等任务。现有的大规模语义知识库基本都是通用型知识库,缺乏特定领域的语义知识。为了弥补这种不足,该文基于HowNet的语义理论体系,提出了一种辅助构建航空术语语义知识库的方法。该方法根据航空术语的特点将辅助构建分成四个关键过程, ...中科院软件研究所 本站小编 Free考研考试 2022-01-02多特征融合的汉越双语新闻摘要方法
摘要为了获取同一事件的汉越双语新闻的自动摘要,该文提出了一种多特征融合的汉越双语新闻摘要方法。关于同一事件的新闻文本,其句子间具有一定的关联关系,利用这些关联关系有助于生成摘要。根据该思想,首先计算句子间的新闻要素共现程度及句子间的相似度;然后将这两种特征融入句子无向图,并利用图排序算法对句子进行排 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于联合模型的藏文实体关系抽取方法研究
摘要从无结构文本中抽取实体与实体之间的关系是自然语言处理领域的重要研究内容,同时也为构建知识图谱、问答系统等应用提供重要支撑。基于联合模型的实体关系抽取任务将实体识别和关系抽取同时进行,克服了传统实体关系抽取任务中先识别句子中的实体,然后再进行实体关系判断这两次任务中的错误累加。该文针对藏文语料匮乏 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于自注意力机制的阅读理解模型
摘要机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型MixedModel。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Roug ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于深度层次特征的阅读理解模型
摘要对于面向真实场景的中文机器阅读,理解文本所呈现的复杂信息至关重要。针对多篇章的连续答案片段型中文机器阅读任务,该文提出一种基于深度层次特征的模型,来提取细节、片段、全文三个层次的深度特征,从而多角度把握篇章包含的信息。在该模型中,词语经过词向量表示后,经过循环(recurrent)层编码后得到细 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于条件随机场的方志古籍别名自动抽取模型构建
摘要近年来,我国数字图书馆发展迅速,为馆藏资源的深度挖掘和利用提供了基础。该文以数字化的方志古籍为研究语料,在全文人工标注的基础上,通过分析物产别名的内外部特征,构建基于条件随机场的别名自动抽取模型,精确率达到了93.52%。实验结果表明,条件随机场模型能够较好的应用于方志类古籍内容挖掘,为数字图书 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
