用于文本分类的多探测任务语言模型微调

傅群超, 王枞

1. 北京邮电大学 软件学院, 北京 100876;
2. 北京邮电大学 可信分布式计算与服务教育部重点实验室, 北京 100876

收稿日期:2019-11-22出版日期:2019-12-28发布日期:2019-11-15

作者简介:傅群超(1992-),男,博士生,E-mail:fuqunchao@bupt.edu.cn;王枞(1958-),女,教授,博士生导师.
基金资助:国家重点研发计划项目（2017YFC1307705）

Based on Multiple Probing Tasks Fine-Tuning of Language Models for Text Classification

FU Qun-chao, WANG Cong

1. School of Software Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China;
2. Key Laboratory of Trustworthy Distributed Computing and Service(Beijing University of Posts and Telecommunications), Ministry of Education, Beijing 100876, China

Received:2019-11-22Online:2019-12-28Published:2019-11-15

摘要/Abstract

摘要： 预训练语言模型被广泛运用在多项自然语言处理任务中，但是对于不同的任务没有精细的微调.针对文本分类任务，提出基于探测任务的语言模型微调方法，利用探测任务训练模型特定的语言学知识，可提高模型在文本分类任务上的性能.设计了6个探测任务，覆盖句子浅层、语法和语义三方面信息.最后在6个文本分类数据集上验证了本文的方法，使分类错误率得到改善.
中图分类号:
TN929.53

引用本文

傅群超, 王枞. 用于文本分类的多探测任务语言模型微调[J]. 北京邮电大学学报, 2019, 42(6): 76-83.
FU Qun-chao, WANG Cong. Based on Multiple Probing Tasks Fine-Tuning of Language Models for Text Classification[J]. JOURNAL OF BEIJING UNIVERSITY OF POSTS AND TELECOM, 2019, 42(6): 76-83.





PDF全文下载地址:

https://journal.bupt.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4594