利用正则变换与现代机器学习中的正则化流方法(Normalizing Flow)之间的密切联系,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室的博士生李烁辉、董陈潇与王磊研究员和普林斯顿大学的张林峰博士合作提出了神经网络正则变换(Neural Canonical Transformation)方法。该方法利用神经网络实现灵活、可学习的正则变换。通过对于哈密顿函数或相空间数据的学习找到合适的变换,从而将问题映射为具有不同特征频率的近独立运动模式。
在机器学习领域,正则化流利用可逆的深层神经网络实现数据之间的变换。它在语音与图像合成等现实问题中有广泛的应用。本质上,正则化流使用变量替换的方法将真实数据复杂的概率分布映射成为简单的近似正则分布。物理学中的正则变换其实也是一种正则化流。但与通常的机器学习应用不同,正则变换作用于包含坐标和动量的相空间。此外,为了保证变换前后的哈密顿方程的形式和物理意义,变换本身需要满足辛条件(Symplectic Condition)。构建满足这些哈密顿体系基本数学性质的神经网络是此项工作的关键点。
神经网络正则变换的一个直接应用是提取多体问题中近独立的非线性模式。这有助于识别在分子动力学和动力学控制问题中起关键作用的低频集体模式。例如,作者使用神经网络正则变换分析丙氨酸二肽的分子动力学模拟数据,从而提取出分子构像之间转换所对应的运动模式。作者还将神经网络正则变换应用于机器学习问题,实现了对于MNIST数据集的隐变量提取与概念压缩。
此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。
相关研究成果发表于Phys. Rev. X,论文链接 https://journals.aps.org/prx/abstract/10.1103/PhysRevX.10.021020。开源的代码实现 https://github.com/li012589/neuralCT。

PRX 10, 021020 (2020).pdf