(天津科技大学计算机科学与信息工程学院 天津 300457) (yrchen@tust.edu.cn)
出版日期: 2020-01-01基金资助:国家自然科学基金项目(61402332,61402331,11803022);天津市自然科学基金项目(17JCQNJC00400,18JCQNJC69800);天津市高等学校科技发展基金项目(2017KJ034,2017KJ035,2018KJ106)； 天津科技大学青年教师基金项目(2017LG10)Mixture of Variational Autoencoder
Chen Yarui, Jiang Shuoran, Yang Jucheng, Zhao Tingting, Zhang Chuanlei(College of Computer Science and Information Engineering, Tianjin University of Science & Technology, Tianjin 300457)
Online: 2020-01-01Supported by:This work was supported by the National Natural Science Foundation of China (61402332, 61402331,11803022), the Natural Science Foundation of Tianjin City (17JCQNJC00400, 18JCQNJC69800), the Science and Technology Development Foundation of Higher Education Institutions of Tianjin (2017KJ034, 2017KJ035, 2018KJ106), and the Foundation for Young Teachers of Tianjin University of Science and Technology (2017LG10).摘要/Abstract
摘要： 变分自编码(variational autoencoder, VAE)是一种基于连续隐向量的生成模型，通过变分近似构建目标函数，其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的，这种假设简化了推理过程，但是这使得变分下界过于松弛，同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder, MVAE)模型，它通过多个变分自编码组件生成样本数据，丰富了变分识别模型结构，同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示，其先验分布为高斯分布；以离散型隐向量作为各组件的指示向量，其先验分布为多项式分布.对于MVAE模型的变分优化目标，采用重参策略和折棍参数化策略处理目标函数，并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力，提高近似推理精度，重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验，验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.
参考文献
相关文章 15
| [1] | 陈可佳, 鲁浩, 张嘉俊. 条件变分时序图自编码器[J]. 计算机研究与发展, 2020, 57(8): 1663-1673. |
| [2] | 孙肖依, 刘华锋, 景丽萍, 于剑. 基于列表级排序的深度生成推荐方法[J]. 计算机研究与发展, 2020, 57(8): 1697-1706. |
| [3] | 宋珂慧,张莹,张江伟,袁晓洁. 基于生成式对抗网络的结构化数据表生成模型[J]. 计算机研究与发展, 2019, 56(9): 1832-1842. |
| [4] | 刘欢, 郑庆华, 罗敏楠, 赵洪科, 肖阳, 吕彦章. 基于跨域对抗学习的零样本分类[J]. 计算机研究与发展, 2019, 56(12): 2521-2535. |
| [5] | 夏卓群,胡珍珍,罗君鹏,陈月月. 不确定环境下移动对象自适应轨迹预测方法[J]. 计算机研究与发展, 2017, 54(11): 2434-2444. |
| [6] | 李全刚,刘峤,秦志光. 基于主题模型的通信网络建模与仿真[J]. 计算机研究与发展, 2016, 53(1): 206-215. |
| [7] | 任亚峰,姬东鸿,张红斌,尹兰. 基于PU学习算法的虚假评论识别研究[J]. 计算机研究与发展, 2015, 52(3): 639-648. |
| [8] | 胡振, 傅昆, 张长水. 基于深度学习的作曲家分类问题[J]. 计算机研究与发展, 2014, 51(9): 1945-1954. |
| [9] | 王桢文 肖卫东 谭文堂. 基于概率生成模型的网络数据分类方法[J]. , 2013, 50(12): 2642-2650. |
| [10] | 郑翰林 刘利刚. 三维曲面的浮雕细节层提取方法[J]. , 2012, 49(8): 1715-1720. |
| [11] | 赵 方, 罗海勇, 马 严, 徐俊俊,. 基于公共信标集的高精度射频指纹定位算法[J]. , 2012, 49(2): 243-252. |
| [12] | 刘 哲, 宋余庆, 陈健美, 谢从华, 宋旼珊,. 基于二类切比雪夫正交多项式非参数混合模型的图像分割[J]. , 2011, 48(11): 2008-2014. |
| [13] | 朱 峰, 罗立民, 宋余庆, 陈健美, 左 欣,. 基于自适应空间邻域信息高斯混合模型的图像分割[J]. , 2011, 48(11): 2000-2007. |
| [14] | 张晨逸, 孙建伶, 丁轶群,. 基于MB-LDA模型的微博主题挖掘[J]. , 2011, 48(10): 1795-1802. |
| [15] | 陈亚瑞 廖士中. 基于耦合度的高斯均值场归一化结构选择算法[J]. , 2010, 47(9): 1497-1503. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4084
