人脑是亿万年自然进化“训练”出来的高精度神经网络，神经元数量近千亿，分为数千种不同类型，每种神经元都有其独特且优雅的结构，以及丰富的离子通道信号加工机理。计算神经科学领域最新进展表明，凭借复杂的树突结构和离子通道，单个神经元就具有惊人的计算能力，相当于5—8层的深度人工神经网络。因此，我们的大脑是一个参数量比ChatGPT大4到5个数量级的超大精细神经网络。
结构决定功能。人工智能要逼近人脑功能，就要从结构、规模和信号加工机理上进一步逼近人类大脑，这就意味着需要远比ChatGPT庞大的算力，或者更高效率的算法。北京大学计算机学院黄铁军教授、北京大学人工智能研究院杜凯助理研究员团队给出了理论最优的精细神经元仿真算法，近日在《自然·通讯》（Nature Communications）上线，实现了生物神经网络高精度仿真效率的数量级提升，成为探索大脑奥秘和发展下一代人工智能的关键支撑。
神经元建模有两条主要路径。一是人工神经网络采用的点神经元（Point Neuron）模型，源于1943年麦卡洛克和皮茨提出的M-P（McCulloch-Pitts）模型，将神经元视为“多入单出”的加权求和计算过程，沿用了80年。尽管点模型过于简化，仍然在人工神经网络得到广泛应用并取得了很好的应用效果。二是精细神经元模型（Biophysically Detailed Model，图1），基于霍奇金和赫胥黎1952年提出的HH模型（Hodgkin-Huxley Model，1963年获得诺贝尔生理和医学奖）和拉尔（Rall）1959年提出的电缆理论（Cable theory），能够高精度表达神经元内部复杂的树突结构和电生理过程。
相比于点神经元，精细神经元的复杂性也意味着其仿真过程极其耗时。因此，该领域的科学家们一直面临一个关键问题：如何对精细神经元以及精细神经网络模型进行高效仿真？精细神经元复杂树突结构的仿真需要采用特殊的线性方程组求解，是影响仿真效率的基本瓶颈。当前主流大脑仿真平台（如NEURON）采用的海因斯算法（Hines method）由耶鲁大学海因斯1984年提出，计算复杂度高，造成精细神经网络仿真代价极其昂贵（图1），算力成为限制网络规模扩展的桎梏。近40年来，为了提高海因斯算法的计算效率，人们进行了不懈探索，但成效甚微，这个难题一直悬而未决。
为解决上述问题，团队提出了树突分层调度方法DHS（Dendritic Hierarchical Scheduling），实现了仿真效率的数量级提升，构建并开源了基于GPU的精细神经网络仿真学习加速框架DeepDendrite，提供了一个完整的融合精细神经元仿真与学习的平台，利用GPU的强大计算性能，支撑脑科学家从大规模系统层次探索大脑工作原理，打开神经科学与人工智能融合发展的桥梁，成为发展下一代人工智能的重要支撑。
该工作的主要亮点如下：
理论最优：理论证明DHS方法是并行求解树突线性方程组计算代价最优的方法，与经典海因斯方法相比，可以在保证数值准确性情况下将计算代价降至7%至10%。
数量级加速：结合DHS方法与内存增强（memory boosting）技术和GPU硬件能力，仿真速度比采用CPU的NEURON仿真平台提升2—3个数量级，比采用GPU的NEURON平台提升了1个数量级。
平滑支持脑科学研究：DeepDendrite框架可以直接运行NEURON平台的神经网络模型，神经科学家无需GPU编程知识，无需对现有模型进行修改，就能开展高精度生物神经系统高效仿真研究。
实现人工智能训练：精细神经网络仿真领域目前为止没有类似于PyTorch和TensorFlow一样的框架，DeepDendrite支持面向大数据人工智能训练的高效批处理学习，构建了多层精细神经网络HPC-Net支持典型的图像分类任务，训练时间比现有仿真平台提速约25倍（图2）。训练得到的精细神经网络在分类准确性与人工神经网络基本一致的情况下，对抗噪声的鲁棒性显著提升，展现了精细神经网络相比当前人工神经网络的巨大潜力。
论文“A GPU-based computational framework that bridges neuron simulation and artificial intelligence”已在《自然·通讯》（Nature Communications）在线发表。北京大学为该研究工作的第一完成单位，合作单位包括北京智源人工智能研究院、云南大学以及瑞典的卡罗琳斯卡医学院和皇家理工学院，北京大学计算机学院博士张祎晨，直博生何干、马雷为论文共同第一作者，杜凯为通讯作者，黄铁军为共同指导老师。
这项工作得到科技部重点研发计划“颠覆性技术”专项（2020AAA0130400）、国家自然科学基金委（61825101）和广东省区域重点研发项目等的支持。
Github主页：https://github.com/pkuzyc/DeepDendrite
