摘要基于词注意机制的双向循环神经网络在解决文本分类问题时,存在如下问题:直接对词加权生成文本表示会损失大量信息,从而难以在小规模数据集上训练网络。此外,词必须结合上下文构成短语才具有明确语义,且文本语义常常是由其中几个关键短语决定,所以通过学习短语的权重来合成的文本语义表示要比通过学习词的权重来合成的更准确。为此,该文提出一种基于短语注意机制的神经网络框架NN-PA。其架构是在词嵌入层后加入卷积层提取N-gram短语的表示,再用带注意机制的双向循环神经网络学习文本表示。该文还尝试了五种注意机制。实验表明: 基于不同注意机制的NN-PA系列模型不仅在大、小规模数据集上都能明显提高分类正确率,而且收敛更快。其中,模型NN-PA1和NN-PA2明显优于主流的深度学习模型,且NN-PA2在斯坦福情感树库数据集的五分类任务上达到目前最高的正确率53.35%。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2521
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
基于短语注意机制的文本分类
本站小编 Free考研考试/2022-01-02
相关话题/数据 网络 实验 信息 短语
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19基于多特征信息传播模型的微博意见领袖挖掘
摘要在线社交网络中的意见领袖通常是指在社交网络的信息传播中具有较大社会影响力的个体。针对当前意见领袖挖掘方法中只考虑社交网络的拓扑结构和节点的个体属性,缺乏信息传播中交互特征的问题,该文提出了基于扩展独立级联模型,并融入网络结构特征、个体属性和行为特征的意见领袖挖掘模型(extendedindepe ...中科院软件研究所 本站小编 Free考研考试 2022-01-02汉语“的”字短语认知神经机制的ERP研究
摘要隐喻是我们日常生活中常见的语言现象,更是我们认知、理解、描述世界的重要方式。该文围绕汉语独有的隐喻形式,考察汉语NP+NP形式的“的”字短语隐喻的脑认知加工机制。通过有意义程度(plausibility)、熟悉度(familiarity)和比喻的程度(figurativeness)三个方面来对语 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02由粗到精的哈萨克语短语结构句法分析研究
摘要该文针对哈萨克语短语结构句法分两个阶段采用由粗到精的方法进行哈萨克语句法分析研究。第一阶段使用粗略的句法分析器生成20个最佳候选树;第二阶段采用感知机的方法训练,提取特征信息,并对第一阶段生成的20个最佳候选树进行重排序,最终解析结果是第一阶段产生的候选树的结果和重排序结果按照比例选取。该方法在 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02MHW蒙古文脱机手写数据库及其应用
摘要建立公开、权威的蒙古文手写数据库是研究和开发蒙古文手写识别系统的基础。该文在蒙古文编码、构词和语法的研究基础上,公开了一个蒙古文大词汇量脱机手写数据库MHW,其中训练集由5000个单词构成,每个词采集了20个样本,共包含10万样本,测试集Ⅰ包含5000样本,测试集Ⅱ包含14085样本。该文利用蒙 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于实值RBM的深度生成网络研究
摘要:受限玻尔兹曼机（restrictedBoltzmannmachine，简称RBM）是一种概率无向图，传统的RBM模型假设隐藏层单元是二值的，二值单元的优势在于计算过程和采样过程相对简单，然而二值化会对基于隐藏层单元的特征提取和数据重构过程带来信息损失.因此，将RBM的可见层单元和隐藏层单元实值 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于可变形卷积时空网络的乘车需求预测模型
摘要:随着滴滴、Uber等出租车服务的日益普及，用户的乘车需求预测逐渐成为智慧城市、智慧交通的重要组成部分.准确的预测模型既可以满足用户的出行需求，也可以降低道路车辆空载率，有效地避免资源浪费，并缓解交通压力.车辆服务商可以收集到大量GPS数据及用户需求数据，然而，如何合理运用数据进行需求预测，是关 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于混合神经网络的脑电时空特征情感分类
摘要:提出一种脑电图（electroencephalograph，简称EEG）数据表示方法，将一维链式EEG向量序列转换成二维网状矩阵序列，使矩阵结构与EEG电极位置的脑区分布相对应，以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段，作 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02全委托的公共可验证的外包数据库方案
摘要:为解决可验证外包数据库方案存在的预处理阶段开销较大及不支持公共可验证的问题，提出了一个全委托的公共可验证的外包数据库模型.给出了模型的架构及交互流程，对模型进行了形式化定义，并给出了模型的正确性定义和安全性定义.利用双线性映射及可验证外包模幂运算协议，构建了一个全委托的公共可验证外包数据库方案 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于动态赋权近邻传播的数据增量采样方法
摘要:数据采样是快速提取大规模数据集中有用信息的重要手段，为更好地应对越来越大规模的数据高效处理要求，借助近邻传播算法的优异性能，通过引入分层增量处理和样本点动态赋权策略，实现了一种能够非常有效地平衡处理效率和采样质量的新方法.其中的分层增量处理策略考虑将原始的大规模数据集进行分批处理后再综合；而样 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02功能分发网络:基于容器的智能边缘计算平台
摘要:随着大数据、机器学习等技术的发展，网络流量与任务的计算量也随之快速增长.研究人员提出了内容分发网络（CDN）、边缘计算等平台技术，但CDN只能解决数据存储，而边缘计算存在着难以管理和不能跨集群进行资源调度等问题.容器化技术广泛应用在边缘计算场景中，但目前，边缘计算采取的容器编排策略普遍比较低效 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
