(计算机软件新技术国家重点实验室(南京大学) 南京 210023) (软件新技术与产业化协同创新中心(南京大学) 南京 210023) (heyx@lamda.nju.edu.cn)
出版日期: 2020-08-01基金资助:国家自然科学基金项目(61673201)Mondrian Deep Forest
He Yixiao, Pang Ming, Jiang Yuan(National Key Laboratory for Novel Software Technology(Nanjing University), Nanjing 210023) (Collaborative Innovation Center of Novel Software Technology and Industrialization(Nanjing University), Nanjing 210023)
Online: 2020-08-01Supported by:This work was supported by the National Natural Science Foundation of China (61673201).摘要/Abstract
摘要： 大多数有关深度学习的研究都基于神经网络，即可通过反向传播训练的多层参数化非线性可微模块.近年来，深度森林作为一种非神经网络深度模型被提出，该模型具有远少于深度神经网络的超参数.在不同的超参数设置下以及在不同的任务下，它都表现出非常鲁棒的性能，并且能够基于数据确定模型的复杂度.以gcForest为代表的深度森林的研究为探索基于不可微模块的深度模型提供了一种可行的方式.然而，深度森林目前是一种批量学习方法，这限制了它在许多实际任务中的应用，如数据流的应用场景.因此探索了在增量场景下搭建深度森林的可能性，并提出了蒙德里安深度森林.它具有级联森林结构，可以进行逐层处理.设计了一种自适应机制，通过调整原始特征和经过前一层变换后的特征的权重，以进一步增强逐层处理能力，更好地克服了蒙德里安森林在处理无关特征方面的不足.实验结果表明：蒙德里安深度森林在继承蒙德里安森林的增量训练能力的同时，显著提升了预测性能，并能够使用相同的超参数设置在多个数据集上取得很好的性能.在增量训练场景下，蒙德里安深度森林取得了与定期重新训练的gcForest接近的预测准确率，且将训练速度提升一个数量级.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [3] | 于畅, 王雅文, 林欢, 宫云战. 基于故障检测上下文的等价变异体识别算法[J]. 计算机研究与发展, 2021, 58(1): 83-97. |
| [4] | 李双峰. TensorFlow Lite：端侧机器学习框架[J]. 计算机研究与发展, 2020, 57(9): 1839-1853. |
| [5] | 陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986. |
| [6] | 丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580. |
| [7] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [8] | 陶涛, 孙玉娥, 陈冬梅, 杨文建, 黄河, 罗永龙. 一种基于智能手机传感器数据的地图轮廓生成方法[J]. 计算机研究与发展, 2020, 57(7): 1490-1507. |
| [9] | 蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953. |
| [10] | 刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687. |
| [11] | 周文, 张世琨, 丁勇, 陈曦. 面向低维工控网数据集的对抗样本攻击分析[J]. 计算机研究与发展, 2020, 57(4): 736-745. |
| [12] | 王艳, 李念爽, 王希龄, 钟凤艳. 编码技术改进大规模分布式机器学习性能综述[J]. 计算机研究与发展, 2020, 57(3): 542-561. |
| [13] | 刘俊旭, 孟小峰. 机器学习的隐私保护研究综述[J]. 计算机研究与发展, 2020, 57(2): 346-362. |
| [14] | 程光, 钱德鑫, 郭建伟, 史海滨, 吴桦, 赵玉宇. 基于散度的网络流概念漂移分类方法[J]. 计算机研究与发展, 2020, 57(12): 2673-2682. |
| [15] | 魏立斐, 陈聪聪, 张蕾, 李梦思, 陈玉娇, 王勤. 机器学习的安全问题及隐私保护[J]. 计算机研究与发展, 2020, 57(10): 2066-2085. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4229
