刘壮¹,刘畅²,Wayne,Lin³,赵军⁴

¹（东北财经大学应用金融与行为科学学院 辽宁大连 116025）；²（中国石油物资采购中心 沈阳 110031）；³（南加州大学计算机学院 美国加利福尼亚州洛杉矶 90007）；⁴（IBM研究院 北京 100101) (liuzhuang@dufe.edu.cn)

出版日期: 2021-08-01


基金资助:辽宁省教育厅2021年度高等学校基本科研项目(面上项目)；教育部产学合作协同育人项目(202002037015)

Pretraining Financial Language Model with Multi-Task Learning for Financial Text Mining

Liu Zhuang¹, Liu Chang², Wayne Lin³, Zhao Jun⁴

¹（School of Applied Finance and Behavioral Science, Dongbei University of Finance and Economics, Dalian, Liaoning 116025);²(China Petroleum Materials Procurement Center, Shenyang 110031);³(School of Computer Science, University of Southern California, Los Angeles, CA, USA 90007);⁴(IBM Research, Beijing 100101)

Online: 2021-08-01


Supported by:This work was supported by the Basic Scientific Research Project (General Program) of Department of Education of Liaoning Province and the University-Industry Collaborative Education Program of the Ministry of Education of China (202002037015).

摘要/Abstract

摘要： 近年来，机器学习，尤其是深度神经网络方法促进了金融文本挖掘研究的发展，在金融科技(Fintech)领域起着越来越重要的作用.如何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究.由于深度神经网络需要大量标注数据，但是金融领域缺乏训练数据，因此，将深度学习应用于金融大数据挖掘并没有取得很好效果.为了更好地解决该问题，利用自监督学习和多任务学习等深度学习领域最新的思想和技术，提出了基于BERT模型架构的开源金融预训练语言模型F-BERT.F-BERT是一种针对特定领域(金融文本数据)的预训练语言模型，它通过在大型金融语料库上进行无监督训练得到.基于BERT架构，F-BERT可以有效地自动将知识从金融大数据中提取出并记忆在模型中，而无需进行特定于金融任务的模型结构修改，从而可以直接将其应用于下游各种金融领域任务，包括股票涨跌预测、金融情绪分类、金融智能客服等.在金融关系提取、金融情绪分类、金融智能问答任务上的大量实验表明了F-BERT模型的有效性和鲁棒性.同时，F-BERT在这3个有代表性的金融文本挖掘任务上均取得了很高的模型准确率，进一步验证了模型的性能.

参考文献

相关文章 15

[1]	何贤敏, 李茂西, 何彦青. 基于孪生BERT网络的科技文献类目映射[J]. 计算机研究与发展, 2021, 58(8): 1751-1760.
[2]	张东杰,黄龙涛,张荣,薛晖,林俊宇,路瑶. 基于主题与情感联合预训练的虚假评论检测方法[J]. 计算机研究与发展, 2021, 58(7): 1385-1394.
[3]	邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459.
[4]	卓君宝, 苏驰, 王树徽, 黄庆明. 最小熵迁移对抗散列方法[J]. 计算机研究与发展, 2020, 57(4): 888-896.
[5]	冯伟, 杭文龙, 梁爽, 刘学军, 王辉. 基于层间模型知识迁移的深度堆叠最小二乘分类器[J]. 计算机研究与发展, 2019, 56(12): 2589-2599.
[6]	秦晨光, 王海, 任杰, 郑杰, 袁璐, 赵子鑫. 基于多任务学习的方言语种识别[J]. 计算机研究与发展, 2019, 56(12): 2632-2640.
[7]	程晓阳，詹永照，毛启容，詹智财. 基于拓扑稀疏编码预训练CNN的视频语义分析[J]. 计算机研究与发展, 2018, 55(12): 2703-2714.
[8]	王珺,卫金茂,张璐. 基于保留分类信息的多任务特征学习算法[J]. 计算机研究与发展, 2017, 54(3): 537-548.
[9]	周彧聪,刘轶,王锐. 互补学习：一种面向图像应用和噪声标注的深度神经网络训练方法[J]. 计算机研究与发展, 2017, 54(12): 2649-2659.
[10]	文益民,唐诗淇,冯超,高凯. 基于在线迁移学习的重现概念漂移数据流分类[J]. 计算机研究与发展, 2016, 53(8): 1781-1791.
[11]	董爱美,毕安琪,王士同. 基于迁移共享空间的分类新算法[J]. 计算机研究与发展, 2016, 53(3): 632-643.
[12]	吴 琼 刘 悦 沈华伟 张 瑾 许洪波 程学旗. 面向跨领域情感分类的统一框架[J]. , 2013, 50(8): 1683-1689.
[13]	梅灿华 张玉红 胡学钢 李培培. 一种基于最大熵模型的加权归纳迁移学习方法[J]. , 2011, 48(9): 1722-1728.
[14]	陈海鹏 申铉京 吕颖达 金玉善. 基于Lambert光照模型的图像真伪盲鉴别算法[J]. , 2011, 48(7): 1237-1245.
[15]	洪佳明 印 鉴 黄 云 刘玉葆 王甲海. TrSVM:一种基于领域相似性的迁移学习算法[J]. , 2011, 48(10): 1823-1830.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4479