我们知道,现实世界中很多问题是不确定的。在人工智能研究领域,对于不确定性问题,通常采用概率统计模型来描述。然而,大多数概率模型都是难以处理的,并且训练过程也非常困难。因此,必须利用一些近似方法使其成为一个可以求解的问题。众所周知,在概率统计模型的应用中,一个中心任务是在给定观察变量X时,估计隐变量Z的后验分布,并且估计该分布计算的期望值。贝叶斯变分推理是一个很好的选择,变分推理将推理任务转化为了优化问题,然后使用梯度下降法解决该优化问题。但是不可避免地,它也面临着梯度下降方法的缺点。另一种变分推理的方法是基于变分目标的随机优化,其中噪声梯度由变分分布的蒙特卡洛样本计算。这种算法计算了变分自由能(ELBO)的梯度,然而,随机优化和蒙特卡洛方法仍存在一定的不确定性,梯度下降方法也难以实现快速学习。
Pseudo-inverse learners(PILs)是一种用伪逆学习(PIL)算法训练的前馈神经网络,最早可追溯到1995年。PIL是我们首次提出的一种非梯度下降学习方法,相比于经典的梯度下降学习算法,其主要优点在于计算代价更低,计算速度更快,不要求激活函数可微分。PIL尤其是在小规模计算,例如边缘计算研究领域的表现更为明显。然而,PIL多用于确定性学习问题。
因此,为解决目前在深度学习中网络结构难以确定,基于随机梯度下降的学习算法带来的不确定性问题,我们提出了一种称为为贝叶斯伪逆学习(BPIL)的近似协同学习(Approximated Synergetic Learning --ASL)的方案,将不确定学习转化为确定性学习。
在所提出的BPIL算法中,我们将后验概率密度函数设为:
其中是一种伪逆学习器,比如MLP-PIL。
论文中提出的BPIL中,采用SLS(协同学习系统)的框架,子系统的模型使用概率模型,并且用PIL方法代替梯度下降算法。在该方法中,假设Z是隐变量,属于一类分布,设Z的元素被划分为M个不相交的群,用表示,其中,然后q分布对这些组进行因式分解,这种分解形式在物理学中被称为平均场理论,将平均场理论用于变分推理中,即:
是一个非参数核密度分布:
在该方法中,不确定性问题用概率模型表示,然后采用ASL方法来实现概率模型转换,使用PIL来训练BPIL,并且使用ASL方法导出的正则化超参数估计公式:
我们认为多层感知器(MLP)是堆叠的自动编码器加上一个单层分类器。在学习处理中,引入辅助层构造自编码器,在获得编码器连接权值矩阵后,将该辅助层(解码器)丢弃,编码器的输出发送到PIL分类器。采用我们提出的伪逆学习自编码算法(PILAE),不需要用户设置学习参数。更为重要的贡献是在BPIL框架下,构建深度神经网络的基础模块是非可微分构件。下图给出了搜索深度神经网络(NAS)最优体系结构的过程。利用训练数据构造自编码器,利用验证数据确定超参数,包括隐神经元数和权值衰减正则化参数。测试数据用于计算网络输出精度,从而判断该学习者是否满足给定的任务要求。如果达到任务要求,网络将停止生长并退出训练处理。否则,网络增长一层,以这种方式实现动态网络结构优化。这种深度网络结构优化的策略可用到自动机器学习中去,为破解深度学习中的网络拓扑结构设计难的困境迈出了重要的一步。
使用该算法在MNIST数据集和Fashion-MNIST数据集中与传统的算法和其他优化算法做了对比实验,分类的精确度对比如下:
可以看到BPIL在分类中有更好的表现。时间的对比图如下:
相比于传统的BP算法,BPIL的计算代价大大减少,并且BPIL和其他优化算法相差不多,在几秒到几十秒的差距内,但却提高了精度。
上述研究成果于2021年6月在线发表在人工智能领域期刊《IEEE Transactions on Cybernetics》,题为《Bayesian Pseudoinverse Learners: From Uncertainty to Deterministic Learning》。该论文的第一作者单位与通讯作者单位均为北京师范大学,第一作者为人工智能学院的尹乾副教授,通讯作者为系统科学学院的郭平教授。该研究得到了科技创新2030—“新一代人工智能”重大项目课题的资助((No. 2018AAA0100203)。
原文链接:https://doi.org/10.1109/TCYB.2021.3079906
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
[成果]贝叶斯伪逆学习器:从不确定性到确定性学习
本站小编 Free考研考试/2021-12-25
相关话题/计算 网络 概率 优化 数据
[成果]北师大承担的国家发改委 “基础教育大数据研发与应用示范工程项目”结题
6月11日,受国家发展和改革委员会委托,教育部科技与信息化司组织相关领域专家开展了国家发改委2017年促进大数据发展重大工程项目——“基础教育大数据研发与应用示范工程项目”的结项验收工作。本次项目评审专家组成员有西安电子科技大学校长杨宗凯教授、华中师范大学刘三女牙教授、首都师范大学方海光教授、北京理 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[论坛] 第九届中国网络视听大会“VR视听前沿发展”论坛在成都举办
第九届中国网络视听大会于6月3日至6月5日在成都召开。北京师范大学新闻传播学院、人民视频、封面新闻、中国VR/AR创作大赛组委会在此次大会中联合承办第九届中国网络视听大会“VR视听前沿发展”分论坛。论坛于6月3日在成都世纪城新国际会展中心举办。下午,VR视听前沿发展分论坛开幕。中共四川省委宣传部副部 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[成果]《未成年人网络素养2020年度报告》正式发布
5月30日,新闻传播学院未成年人网络素养研究中心发布了《未成年人网络素养2020年度报告》。《报告》提出“赋权”、“赋能”、“赋义”是青少年网络素养的核心理念,从个人、家庭、学校、社会四方面提出对策建议,提倡多元主体共同构建未成年人网络素养教育生态系统。最新发布的第47次《中国互联网络发展状况统计报 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[论坛]全国高校第二届网络与新媒体专业建设研讨会暨新媒体C9联盟新书发布会在北师大举行
5月15日,全国高校第二届网络与新媒体专业建设研讨会暨新媒体C9联盟新书发布会在北京师范大学举行,会议主题为“新文科,新模式,新媒体”。会议由人民邮电出版社、北京师范大学新闻传播学院主办,中国新闻史学会网络传播史研究委员会、中国新闻史学会传媒经济与管理专业委员会、中国传媒大学广告学院、清华大学新闻传 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[成果]“全球灾害数据平台(中文版)”上线 《2020年全球自然灾害评估报告(中文版摘要)》同步发布
5月12日,由应急管理部-教育部减灾与应急管理研究院、中国灾害防御协会、应急管理部国家减灾中心联合建设“全球灾害数据平台(中文版)”(以下简称“平台”,网址https://www.gddat.cn)正式上线发布。平台通过收集、整理与集成应急管理部国家减灾中心、中国地震台网中心、中国气象局国家气候中心 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[观点]王韵:“出圈”的央视网络春晚带来哪些启示
?由中央广播电视总台主办、央视网出品、唯众传媒制作的2021网络春晚,在春节期间成为大家热议的话题。晚会播出当晚,电视直播关注度稳居第一,各平台直播累计观看量超1.2亿次,累计点播视频播放量近9亿次。晚会以“新年开新局,就这么开新”为主题,用创新性的内容和形式,对传统电视文艺晚会进行大刀阔斧的变革, ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[成果]《中国青少年网络素养调查报告(2020)》发布
2020年12月30日,京师中国传媒智库发布第31期《中国青少年网络素养调查报告(2020)》发布会暨未成年人网络保护跨学科论坛在北京师范大学京师大厦第一会议室举办。此次会议由北京师范大学新闻传播学院、北京师范大学教育新闻与传媒研究中心主办。北京师范大学新闻传播学院执行院长张洪忠主持会议此次论坛邀请 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[预告]12.02 京师经管名家讲坛(第101期) | 政府统计大数据基本理论范式及在经济分析中的应用
题目:政府统计大数据基本理论范式及在经济分析中的应用时间:12月2日(周三)16:00地点:北京师范大学后主楼1722会议室主讲人:何强,国家统计局统计科学研究所主讲人简介:何强,国家统计局统计科学研究所党委委员、研究员,大数据研究室主任。北京大学经济学院博士后。主要研究领域为大数据和宏观经济统计。 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[成果]《国际地学遗产与公园(英文)》期刊入选Scopus数据库
《国际地学遗产与公园(英文)》(InternationalJournalofGeoheritageandParks)期刊编辑部于2020年11月20日收到Elsevier通知,由北京师范大学主办的英文学术期刊《国际地学遗产与公园(英文)》正式被Scopus数据库收录!Scopus数据库是全球最大的文 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25[成果]《地理学与可持续性(英文)》期刊入选Scopus数据库
《地理学与可持续性(英文)》(GeographyandSustainability)期刊编辑部于2020年11月20日收到Scopus评估机构通知,经Scopus内容遴选与咨询委员会(CSAB)评估,北京师范大学地理科学学部创办的《地理学与可持续性(英文)》入选Scopus数据库。Scopus数据库 ...北京师范大学通知公告 本站小编 Free考研考试 2021-12-25