1(吉林大学计算机科学与技术学院 长春 130012);2(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012);3(长春工程学院计算机技术与工程学院 长春 130012) (1458299660@qq.com)
出版日期: 2018-01-01基金资助:国家自然科学基金项目(60903098，60973040，61602057)；国家自然科学基金青年科学基金项目(61300148)；吉林省科技厅优秀青年人才基金项目(20170520059JH)；吉林省教育厅青年基金项目(2016311)；吉林大学研究生创新基金项目(2016184)Sentence Classification Model Based on Sparse and Self-Taught Convolutional Neural Networks
Gao Yunlong1,2, Zuo Wanli1,2, Wang Ying1,2, Wang Xin2,31(College of Computer Science and Technology, Jilin University, Changchun 130012);2(Key Laboratory of Symbolic Computation and Knowledge Engineering(Jilin University), Ministry of Education, Changchun 130012);3(College of Computer Technology and Engineering, Changchun Institute of Technology, Changchun 130012)
Online: 2018-01-01摘要/Abstract
摘要： 句子分类模型的建立对于自然语言理解的研究有着十分重要的意义.基于卷积神经网络(convolutional neural networks, CNN)提取数据特征的特点，提出基于稀疏自学习卷积神经网络(sparse and self-taught CNN, SCNN)的句子分类模型.首先，在卷积层排除人为约定的特征map输入，自学习前一层输入的特征矩阵的有效组合，动态捕获句子范围内各个特征的有效关联；然后，在训练过程中利用L1范数增加稀疏性约束，降低模型复杂度；最后，在采样层利用K-Max Pooling选择句子中最大特征的序列，并保留特征之间的相对次序.SCNN可以处理变长的句子输入，模型的建立不依赖于句法、分析树等语言学特征，从而适用于任何一种语言.通过对语料库进行句子分类实验，验证了所提出模型有较好的分类效果.
参考文献
相关文章 15
| [1] | 谢震, 谭光明, 孙凝晖. 基于PPR模型的稀疏矩阵向量乘及卷积性能优化研究[J]. 计算机研究与发展, 2021, 58(3): 445-457. |
| [2] | 甘新标, 谭雯, 刘杰. 基于双向位图的CSR大规模图存储优化[J]. 计算机研究与发展, 2021, 58(3): 458-466. |
| [3] | 古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263. |
| [4] | 王继娜, 陈军华, 高建华. 基于排序损失的ECC多标签代码异味检测方法[J]. 计算机研究与发展, 2021, 58(1): 178-188. |
| [5] | 王婕婷, 钱宇华, 李飞江, 刘郭庆. 消除随机一致性的支持向量机分类方法[J]. 计算机研究与发展, 2020, 57(8): 1581-1593. |
| [6] | 鞠卓亚, 王志海. 基于选择性模式的贝叶斯分类算法[J]. 计算机研究与发展, 2020, 57(8): 1605-1616. |
| [7] | 邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459. |
| [8] | 张圣林, 李东闻, 孙永谦, 孟伟彬, 张宇哲, 张玉志, 刘莹, 裴丹. 面向云数据中心多语法日志通用异常检测机制[J]. 计算机研究与发展, 2020, 57(4): 778-790. |
| [9] | 刘烨, 黄金筱, 马于涛. 基于混合神经网络和注意力机制的软件缺陷自动分派方法[J]. 计算机研究与发展, 2020, 57(3): 461-473. |
| [10] | 沈明珠, 刘辉. 面向技术论坛的问题解答状态预测[J]. 计算机研究与发展, 2020, 57(3): 474-486. |
| [11] | 程光, 钱德鑫, 郭建伟, 史海滨, 吴桦, 赵玉宇. 基于散度的网络流概念漂移分类方法[J]. 计算机研究与发展, 2020, 57(12): 2673-2682. |
| [12] | 张晨童, 张佳影, 张知行, 阮彤, 何萍, 葛小玲. 融合常用语的大规模疾病术语图谱构建[J]. 计算机研究与发展, 2020, 57(11): 2467-2477. |
| [13] | 李洪均, 丁宇鹏, 李超波, 张士兵. 基于特征融合时序分割网络的行为识别研究[J]. 计算机研究与发展, 2020, 57(1): 145-158. |
| [14] | 宋珂慧,张莹,张江伟,袁晓洁. 基于生成式对抗网络的结构化数据表生成模型[J]. 计算机研究与发展, 2019, 56(9): 1832-1842. |
| [15] | 张佳影,王祺,张知行,阮彤,张欢欢,何萍. 区域医疗健康平台中检验检查指标的标准化算法[J]. 计算机研究与发展, 2019, 56(9): 1897-1906. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3613
