1(厦门大学 福建厦门 361000); 2(江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州 215006) (xwzhang@stu.xmu.edu.cn)
出版日期: 2019-04-01基金资助:国家自然科学基金项目(61520106005，61761136014)；国家重点研发计划项目(2017YFB1010000)Weighted Lattice Based Recurrent Neural Networks for Sentence Semantic Representation Modeling
Zhang Xiangwen1,2, Lu Ziyao1, Yang Jing1, Lin Qian1, Lu Yu1, Wang Hongji1, Su Jinsong1,21(Xiamen University, Xiamen, Fujian 361000); 2(Jiangsu Provincial Key Laboratory for Computer Information Processing Technology(Soochow University), Suzhou, Jiangsu 215006)
Online: 2019-04-01摘要/Abstract
摘要： 目前，循环神经网络(recurrent neural network, RNN)已经被广泛应用于自然语言处理的文本序列语义表示建模.对于没有词语分隔符的语言，例如中文，该网络以经过分词预处理的词序列作为标准输入.然而，非最优的分词粒度和分词错误会对句子语义表示建模产生负面作用，影响后续自然语言处理任务的进行.针对这些问题，提出基于带权词格的循环神经网络模型.该模型以带权词格作为输入，在每个时刻融合多个输入向量和对应的隐状态，融合生成新的隐状态.带权词格是一种包含指数级别分词结果的压缩数据结构，词格中的边权重在一定程度上体现了不同分词结果的一致性.特别地，利用词格权重作为融合函数中权重建模的监督信息，进一步提升了模型句子语义表示的学习效果.相比于传统循环神经网络，该模型不仅能够缓解分词错误对句子语义建模产生的负面影响，同时使得语义建模具有更强的灵活性.在情感分类和问句分类2个任务上的实验结果证明了该模型的有效性.
参考文献
相关文章 15
| [1] | 刘烨, 黄金筱, 马于涛. 基于混合神经网络和注意力机制的软件缺陷自动分派方法[J]. 计算机研究与发展, 2020, 57(3): 461-473. |
| [2] | 朱兆坤, 李金宝. 多特征信息融合LSTM-RNN检测OSA方法[J]. 计算机研究与发展, 2020, 57(12): 2547-2555. |
| [3] | 刘奇旭, 刘心宇, 罗成, 王君楠, 陈浪平, 刘嘉熹. 基于双向循环神经网络的安卓浏览器指纹识别方法[J]. 计算机研究与发展, 2020, 57(11): 2294-2311. |
| [4] | 张潇,支天. 面向多核处理器的机器学习推理框架[J]. 计算机研究与发展, 2019, 56(9): 1977-1987. |
| [5] | 刘颉羲,陈松灿. 基于混合门单元的非平稳时间序列预测[J]. 计算机研究与发展, 2019, 56(8): 1642-1651. |
| [6] | 苏锦钿,欧阳志凡,余珊珊. 基于依存树及距离注意力的句子属性情感分类[J]. 计算机研究与发展, 2019, 56(8): 1731-1745. |
| [7] | 张志昌,张珍文,张治满. 基于IndRNN-Attention的用户意图分类[J]. 计算机研究与发展, 2019, 56(7): 1517-1524. |
| [8] | 吴法民,吕广奕,刘淇,何明,常标,何伟栋,钟辉,张乐. 视频实时评论的深度语义表征方法[J]. 计算机研究与发展, 2019, 56(2): 293-305. |
| [9] | 庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. |
| [10] | 陈昱,刘中金,赵威威,马原,石志强,孙利民. 一种大规模的跨平台同源二进制文件检索方法[J]. 计算机研究与发展, 2018, 55(7): 1498-1507. |
| [11] | 贾熹滨，靳亚，陈军成. 多视角特征共享的空间对齐跨领域情感分类[J]. 计算机研究与发展, 2018, 55(11): 2439-2451. |
| [12] | 陈龙,管子玉,何金红,彭进业. 情感分类研究进展[J]. 计算机研究与发展, 2017, 54(6): 1150-1170. |
| [13] | 张志飞,苗夺谦,聂建云,岳晓冬. 否定句的情感不确定性度量及分类[J]. 计算机研究与发展, 2015, 52(8): 1806-1816. |
| [14] | 赵传君,王素格,李德玉,李欣. 基于分组提升集成的跨领域文本情感分类[J]. 计算机研究与发展, 2015, 52(3): 629-638. |
| [15] | 吴 琼 刘 悦 沈华伟 张 瑾 许洪波 程学旗. 面向跨领域情感分类的统一框架[J]. , 2013, 50(8): 1683-1689. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3914
