文献详情
基于MapReduce的三元N-gram算法的并行化研究
外文标题：Research on parallelization of trigram N-gram algorithm based on MapReduce
文献类型：期刊
期刊名称：电子技术应用
年：2019
卷：45
期：5
页码：70-73,77
ISSN：0258-7998
关键词：中文文本查错;三元N-gram算法;MapReduce计算模型;并行化算法;Hadoop集群;语料库
所属部门：信息资源管理学院
链接地址：http://d.oldg.wanfangdata.com.cn/Periodical_dzjsyy201905018.aspx
摘要：大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作.面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈.在深入研究三元N-gram算法的基础上,提出了基于MapReduce计算模型的三元N-gram并行化算法的思想.MapReduce计算模型中,将运算任务平均分配到m个节点,三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数,Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数,生成全局统计结果.实验结果表明,运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性,对于每日120亿字的训练语料数据集,集群环境下该算法得到训练结果的速率更接近于线性.
DOI：10.16157/j.issn.0258-7998.190008
百度学术：基于MapReduce的三元N-gram算法的并行化研究
语言：中文
人气指数：2
浏览次数：2
基金：国家重点研发计划项目
作者其他论文



档案信息咨询互动数据集构建与分析.夏天,.浙江档案. 2019, 26-29.
内容库在政府信息公开系统中的应用研究.龚永罡, 吴萌, 廉小亲, et al. .计算机应用与软件. 2019, 36(11), 96-100,120.
基于内容代表性评价的关键帧抽取.顾益军;解易;夏天.计算机科学.2014,41(8),286-288,315.
中国政府网站移动浏览器兼容性研究.夏天;陈杰;魏小贞,等.现代情报.2014,34(11),62-69.
中心网页中主题网页链接的自动抽取.夏天.山东大学学报：理学版.2012,47(5),25-31.