(苏州大学计算机科学与技术学院 江苏苏州 215006) (20185227064@stu.suda.edu.cn)
出版日期: 2020-11-01基金资助:国家自然科学基金项目(61672367,61672368,61703293)Convolutional Interactive Attention Mechanism for Aspect Extraction
Wei Zhenkai, Cheng Meng, Zhou Xiabing, Li Zhifeng, Zou Bowei, Hong Yu, Yao Jianmin(College of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006)
Online: 2020-11-01Supported by:This work was supported by the National Natural Science Foundation of China (61672367, 61672368, 61703293).摘要/Abstract
摘要： 在基于深度学习的属性抽取研究中，注意力机制是常用的模型之一.目前，面向属性抽取的注意力机制存在2个局限性：其一，注意力机制多为自注意力机制，这是一种全局式注意力机制，其将不相关的噪音(距离目标词较远且与之不相关的词)带入注意力向量的计算；其二，目前的注意力机制多为单层注意力机制，注意力一次建模后缺少交互性.针对这2个局限性，提出一种面向属性抽取的类卷积交互式注意力机制.该方法先将目标句输入到双向循环神经网络，借以获得每个词的隐式表达，再经过类卷积交互式注意力机制进行表示学习.类卷积交互式注意力机制分为2层注意力计算：第1层按序(从句首到句末)通过滑动窗口控制每个词的上下文宽度，并计算每个词的注意力分布向量；第2层将第1层的注意力分布向量与所有单词进行交互注意力计算，将得到的注意力向量与第1层的注意力向量拼接，最终输入到条件随机场进行属性标记.在2014—2016语义评估(semantic evaluation, SemEval)官方数据集上验证了模型的有效性.相比于基线模型，在4个数据集上的F1值分别提高了2.21，1.35，2.22，2.21个百分点.
参考文献
相关文章 15
| [1] | 廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538. |
| [2] | 曾碧卿, 曾锋, 韩旭丽, 商齐. 基于交互特征表示的评价对象抽取模型[J]. 计算机研究与发展, 2021, 58(1): 224-232. |
| [3] | 张世琨, 谢睿, 叶蔚, 陈龙. 基于关键词的代码自动摘要[J]. 计算机研究与发展, 2020, 57(9): 1987-2000. |
| [4] | 李梦莹, 王晓东, 阮书岚, 张琨, 刘淇. 基于双路注意力机制的学生成绩预测模型[J]. 计算机研究与发展, 2020, 57(8): 1729-1740. |
| [5] | 陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768. |
| [6] | 李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392. |
| [7] | 张艺璇, 郭斌, 刘佳琪, 欧阳逸, 於志文. 基于多级注意力机制网络的app流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995. |
| [8] | 张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. |
| [9] | 程艳, 尧磊波, 张光河, 唐天伟, 项国雄, 陈豪迈, 冯悦, 蔡壮. 基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析[J]. 计算机研究与发展, 2020, 57(12): 2583-2595. |
| [10] | 许晶航, 左万利, 梁世宁, 王英. 基于图注意力网络的因果关系抽取[J]. 计算机研究与发展, 2020, 57(1): 159-174. |
| [11] | 叶静,邹博伟,洪宇,沈龙骧,朱巧明,周国栋. 汉语否定与不确定覆盖域检测[J]. 计算机研究与发展, 2019, 56(7): 1506-1516. |
| [12] | 张志昌,张珍文,张治满. 基于IndRNN-Attention的用户意图分类[J]. 计算机研究与发展, 2019, 56(7): 1517-1524. |
| [13] | 蔡国永，吕光瑞，徐智. 基于层次化深度关联融合网络的社交媒体情感分类[J]. 计算机研究与发展, 2019, 56(6): 1312-1324. |
| [14] | 石乐义,朱红强,刘祎豪,刘佳. 基于相关信息熵和CNN-BiLSTM的工业控制系统入侵检测[J]. 计算机研究与发展, 2019, 56(11): 2330-2338. |
| [15] | 孙小婉,王英,王鑫,孙玉东. 面向双注意力网络的特定方面情感分析模型[J]. 计算机研究与发展, 2019, 56(11): 2384-2395. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4301
