刘彬^1,,,
杨有恒¹,
赵志彪²,
吴超²,
刘浩然²,
闻岩¹
1.燕山大学电气工程学院 秦皇岛 066004
2.燕山大学信息科学与工程学院 秦皇岛 066004
基金项目:河北省自然科学基金(F2019203320, E2018203398)

详细信息

作者简介:刘彬：男，1953年生，教授，博士生导师，研究方向为数据挖掘、信号估计与识别算法
杨有恒：男，1996年生，硕士生，研究方向为数据挖掘、机器学习
赵志彪：男，1989年生，博士生，研究方向为人工智能优化算法
吴超：男，1990年生，博士生，研究方向为计算机视觉
刘浩然：男，1980年生，教授，博士生导师，研究方向为无线传感器网络、信号处理
闻岩：男，1963年生，教授，博士生导师，研究方向为数据挖掘、人工智能优化算法

通讯作者:刘彬　liubin@ysu.edu.cn

中图分类号:TN911.7; TP391

计量

文章访问数:2254
HTML全文浏览量:1109
PDF下载量:71
被引次数:0

出版历程

收稿日期:2019-07-05
修回日期:2019-12-12
网络出版日期:2019-12-20
刊出日期:2020-07-23

A Batch Inheritance Extreme Learning Machine Algorithm Based on Regular Optimization

Bin LIU^1,,,
Youheng YANG¹,
Zhibiao ZHAO²,
Chao WU²,
Haoran LIU²,
Yan WEN¹
1. School of Electrical Engineering, Yanshan University, Qinhuangdao 066004, China
2. School of Information Science and Engineering, Yanshan University, Qinhuangdao 066004, China
Funds:The Natural Science Foundation of Hebei Province (F2019203320, E2018203398)


摘要
摘要:极限学习机(ELM)作为一种新型神经网络，具有极快的训练速度和良好的泛化性能。针对极限学习机在处理高维数据时计算复杂度高，内存需求巨大的问题，该文提出一种批次继承极限学习机(B-ELM)算法。首先将数据集均分为不同批次，采用自动编码器网络对各批次数据进行降维处理；其次引入继承因子，建立相邻批次之间的关系，同时结合正则化框架构建拉格朗日优化函数，实现批次极限学习机数学建模；最后利用MNIST, NORB和CIFAR-10数据集进行测试实验。实验结果表明，所提算法具有较高的分类精度，并且有效降低了计算复杂度和内存消耗。
关键词:极限学习机/
高维数据/
批次学习/
继承因子/
正则化
Abstract:As a new type of neural network, Extreme Learning Machine (ELM) has extremely fast training speed and good generalization performance. Considering the problem that the Extreme Learning Machine has high computational complexity and huge memory demand when dealing with high dimensional data, a Batch inheritance Extreme Learning Machine (B-ELM) algorithm is proposed. Firstly, the dataset is divided into different batches, and the automatic encoder network is used to reduce the dimension of each batch. Secondly, the inheritance factor is introduced to establish the relationship between adjacent batches. At the same time, the Lagrange optimization function is constructed by combining the regularization framework to realize the mathematical modeling of batch ELM. Finally, the MNIST, NORB and CIFAR-10 datasets are used for the test experiment. The experimental results show that the proposed algorithm not only has higher classification accuracy, but also reduces effectively computational complexity and memory consumption.
Key words:Extreme Learning Machine(ELM)/
High dimensional data/
Batch learning/
Inheritance factor/
Regularization



PDF全文下载地址:

https://jeit.ac.cn/article/exportPdf?id=07a99c40-42b3-4a3a-9266-99b600c76339