摘要该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合。通过和双向长期时记忆网络(bidirectional long short-term memory networks, BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks, TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12%、1.47%、1.36%,同时训练用时也大大缩减。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3094
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
基于Transformer模型的商品评论情感分析
本站小编 Free考研考试/2022-01-02
相关话题/网络 实验 卷积 注意力 神经网络
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19一种基于门控空洞卷积的高效中文命名实体识别方法
摘要近年来,基于RNN的模型架构在命名实体识别任务中被广泛采用,但其循环特性导致GPU的并行计算能力无法被充分利用。普通一维卷积虽可以并行处理输入文本,显著缩短模型训练时长,但处理长文本时往往需要堆叠多个卷积层,进而增加梯度消失的风险。针对以上问题,该文采用可通过参数调节感受野范围的空洞卷积,并引入 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于神经网络融合标签相关性的多标签情感预测研究
摘要近年来,多标签分类任务(MLC)受到了广泛关注。传统的情感预测被视为一种单标签的监督学习,而忽视了多种情感可能在同一实例中共存的问题。以往的多标签情感预测方法没有同时提取文本的局部特征和全局语义信息,或未考虑标签之间的相关性。基于此,该文提出了一种基于神经网络融合标签相关性的多标签情感预测模型( ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于Transformer网络的中文单字词检错方法研究
摘要错别字自动识别是自然语言处理中一项重要的研究任务,在搜索引擎、自动问答等应用中具有重要价值。尽管传统方法在识别文本中多字词错误方面的准确率较高,但由于中文单字词错误具有特殊性,传统方法对中文单字词检错准确率较低。该文提出了一种基于Transformer网络的中文单字词检错方法。首先,该文通过充分 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于神经网络的藏文正字检错法
摘要在缺乏标注数据的条件下,该文将藏文正字检错任务视为一个分类问题:首先从语言学知识中构建音节混淆子集并给每个原句加噪,然后建立深层双向表征的BERT作为分类模型,最后为了证明该方法的有效性,构建两个基线模型和三种不同领域的测试集,实验结果表明,该方法的结果优于两个基线模型。该文方法在相同领域测试集 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于原型网络的细粒度实体分类方法
摘要细粒度实体分类任务作为命名实体识别任务的扩展,其目的是根据指称及其上下文,发掘实体更细粒度的类别含义。由于细粒度实体语料的标注代价较大,标注错误率较高,因此该文研究了在少量样本情况下的细粒度实体分类方法。该文首先提出了一种特征提取模型,能够分别从单词层面以及字符层面提取实体信息,随后结合原型网络 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于深度神经网络的诗词检索
摘要中国古典诗词是中国古典文学的代表之一,是中华传统文化的宝藏,源远流长。中国古典诗词研究是自然语言处理方向的一项重要且富有意义的工作。随着人工智能的发展,人工神经网络在图像、文本等领域得到广泛的应用,取得了显著的突破,给人工智能与中国古典诗词相结合提供了新的思路和方法。让机器去理解中国古典诗词的韵 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于CNN-CorrNet网络的汉缅平行句对抽取方法
摘要构建双语平行语料库是提升低资源语言机器翻译质量的一种有效方法。该文提出了基于CNN-CorrNet网络的汉缅平行句对抽取方法。具体而言,该文首先利用BERT得到汉语、缅语词向量表征,并将汉语、缅语两种语言句子用卷积神经网络进行句子表征,以捕捉句子重要特征信息;然后为了保证两种语言跨语言表征的最大 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于全局和局部特征感知网络的关系提取方法
摘要关系提取旨在从大量的非结构化数据中提取实体对间的关系。目前,大多数神经网络仅考虑单分支信息流,难以获取足够的语义特征来进行关系提取。针对此问题,该文提出一种基于全局和局部特征感知网络的关系提取方法。该方法首先利用自注意力机制和循环神经网络获取单词的相关性时序特征。其次,构建多分支特征感知卷积神经 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于层次模型和注意力机制的文本分类算法
摘要文本分类一直是自然语言处理任务的研究重点与热点,且被广泛应用到诸多实践领域。首先,该文针对文本分类过程中缺乏层次结构特征的问题,对NMF-SVM分类方法进行优化,利用优化后的分类标签构建树形层次模型,从特征树中提取层次特征;其次,针对关键词与非关键词对分类结果影响程度不同的问题,提出SEAN注意 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于新型卷积神经网络构建矿山灾害事件检测模型
摘要事件检测属于自然语言处理的核心任务及难点之一,使用长短时记忆网络(LSTM)和卷积神经网络(CNN)进行的相关研究越来越广泛,但面对篇章级别的事件文本时,参数量庞大的LSTM与语义缺失明显的CNN导致模型检测准确性和收敛性均欠佳。该文结合迭代空洞卷积神经网络和高速神经网络,提出基于混合特征的高速 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
