摘要古汉语与现代汉语在句法、用词等方面存在巨大的差异。古文句与句之间通常缺少分隔和标点符号,现代读者难以理解。人工断句有助于缓解上述困境,但需要丰富的专业知识,耗时耗力。计算机自动断句有助于加速对古文的准确理解,从而促进古籍研究以及中华文化的弘扬。除自动断句,该文还尝试了自动标点任务。该方案自行预训练古汉语BERT(Bidirectional Encoder Representations from Transformers)模型,并针对具体任务进行微调适配。实验表明,该方案优于目前深度学习中的主流序列切割BiLSTM+CRF模型,在单一文本类别和复合文本类别测试集上的F1值分别达到89.97%和91.67%。更重要的是,模型表现出了很强的泛化能力,未参与任何训练的《道藏》测试集上的F1值依然可达到88.76%。自动标点任务仅使用少量较为粗糙的带标点文本训练集时F1值为70.40%,较BiLSTM+CRF模型提升12.15%。两任务结果均达到当前最佳,相关代码和模型已经开源发布。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2861
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
基于BERT的古文断句研究与应用
本站小编 Free考研考试/2022-01-02
相关话题/测试 方案 计算机 现代汉语 序列
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19一种基于时间序列预测的重采策略
摘要及时获取新增内容,是采集器的重要衡量指标。基于版块页-内容页架构设计的网络采集器通过定期重采入口的版块页,能够有效地快速识别新产生内容页面并进行扩展。然而获取内容的实时性与对网站访问的友好性存在一定的折中。传统的重采策略关注时效性,而忽略了对网站访问的友好性。该文提出了一种基于时间序列预测的改进 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于序列到序列模型的事件识别
摘要事件识别是以事件为单位进行信息抽取的起点,对后续各个子任务都意义重大。针对事件识别任务,该文提出了一种融入文档信息的序列到序列方法,一方面借助神经网络减少了特征工程产生的人工依赖,另一方面借助注意力机制将局部的词、实体与全局的文档中事件的共现等信息统一建模。在LDC2017E02语料上实验结果表 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于序列标注的引语识别初探
摘要句间引用关系自动识别是篇章分析中一项重要内容。句间引用关系影响着对句群篇章的分析,而目前自然语言处理中对引用这一句间关系的研究较少。句间引用关系主要体现在引语中的引用句上。引语由引导句和引用句组成,一般分为直接引语和间接引语,其中间接引语的识别难度最大。引导句和引用句相对位置不定、不同领域语料的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多译文的中文转述语料库建设及转述评价方案
摘要转述语料是转述现象研究的基础。针对目前学术界中文转述语料稀缺的现状,该文以《简爱》的多个中文译本为基础,通过句对齐得到五万句级别的平行转述语料。使用无监督的小句对齐和词对齐算法,从语料中挖掘到九千多对词汇转述知识。同时,还复现和改进了机器翻译测评指标Meteor,使得该指标更适合于中文转述句子的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于序列到序列的中文短文本省略补全
摘要省略作为一种常见的语言现象,在上下文中普遍存在,特别是在问答、对话等短文本中出现的频率更高。不同于传统的机器学习方法,该文针对问答、对话这样的短文本,构建了一个序列到序列的神经网络模型来实现对上下文中出现的省略进行识别和补全。在搜集和整理的短文本问答和对话语料上进行了各种实验,验证了该模型在省略 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02《现代汉语动词语义知识词典》的开发与应用
摘要该文吸收已有动词研究的相关成果,提出了动词语义词典开发的相关原则和研制思路,界定并描写了词典中所涉及的相关属性信息,并对词典的总体文件结构及其各个库的信息进行了描写和说明。最终开发了融合词汇语义和句法语义,涵盖词形、词性、释义、义类、义场、句法范畴信息、语义范畴信息、语义句模等多种信息参数的开放 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02现代汉语形容词资源库的构建
摘要形容词与名词、动词构成汉语实词的主体组成部分,在句法上表现出对“名词”的极度依赖,其核心功能是在概念层面上,在认知注意机制的调适作用下对名词的特征进行“评价”。该文主要叙述汉语形容词知识库构建的相关工作。首先是考察已有的形容词的收词情况,并结合语言演变中新产生的形容词,构建了一个较为全面的形容词 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02全委托的公共可验证的外包数据库方案
摘要:为解决可验证外包数据库方案存在的预处理阶段开销较大及不支持公共可验证的问题，提出了一个全委托的公共可验证的外包数据库模型.给出了模型的架构及交互流程，对模型进行了形式化定义，并给出了模型的正确性定义和安全性定义.利用双线性映射及可验证外包模幂运算协议，构建了一个全委托的公共可验证外包数据库方案 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于阈值动态调整的重复数据删除方案
摘要:云存储已经成为一种主流应用模式.随着用户及存储数据量的增加，云存储提供商采用重复数据删除技术来节省存储空间和资源.现有方案普遍采用统一的流行度阈值对所有数据进行删重处理，没有考虑到不同的数据信息具有不同的隐私程度这一实际问题.提出了一种基于阈值动态调整的重复数据删除方案，确保了上传数据及相关操 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02一种基于MLWE的同态内积方案
摘要:同态内积在安全多方几何计算、隐私数据挖掘、外包计算、可排序的密文检索等场景有广泛的应用.但现有的同态内积计算方案大多是基于RLWE的全同态加密方案，普遍存在效率不高的问题.在柯程松等人提出的基于MLWE的低膨胀率加密算法基础上，提出了一种同态内积方案.首先给出了密文空间上的张量积运算，该密文空 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
