人们在深度学习的应用实践中观察到，深层神经网络具有逐层提取特征的能力。处于网络深层的神经元往往对应于抽象而独立的演生概念。如何充分理解并创造性地利用神经网络的这一特性，是深度学习的核心问题之一，称为表示学习(Representation Learning)。开展表示学习和重正化群理论的交叉研究，一方面有助于揭示深层神经网络的工作原理，另一方面可将成功的深度学习技术应用于求解物理问题。
最近，中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室T03组的博士研究生李烁辉和副研究员王磊提出了一类基于正则化流(Normalizing Flows)的多尺度神经网络架构。这类网络将微观物理构型的概率分布映射到隐变量空间的近高斯分布。相反的，由于网络的可逆性，也可以从高斯噪声出发直接生成可能的物理构型。作者从物理问题的裸作用量出发，利用变分原理端对端地训练网络。为了充分发挥表示学习的能力，他们进一步提出隐变量空间的哈密顿蒙特卡罗更新算法。这个神经网络的结构设计受到了量子多体物理研究中的多尺度纠缠重正化张量网络(Multiscale Entanglement Renormalization Ansatz, 即MERA)的启发。在数学上，神经网络重正化群相当于自适应地寻找降低变量之间互信息(Mutual Information)的非线性小波变换。
流向隐变量空间的正则化流有助于自动识别集体变量和有效理论，预计可以在统计物理、场论以及第一性原理分子动力学研究中发挥作用。此外，可逆的重正化流恰好契合重正化群理论的现代发展：保信息的全息重正化。因此，神经网络重正化群也为研究全息对偶原理(Holographic Duality Principle)提供了新途径。该工作于近期发表于Physical Review Letters杂志（Phys. Rev. Lett. 121, 260601 (2018)）。
此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。可参考王磊在美国物理学会编辑部“Physics Next: Machine Learning”会议上的报告 https://journals.aps.org/physics-next/2018/machine-learning-abstracts 和作者发布的开源程序实现 https://github.com/li012589/NeuralRG 进一步了解此工作。
文章链接：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.121.260601
正则化流实现了物理变量和隐变量之间的可逆映射
PHYS.REV.LETT.121,260601(2018).pdf
