删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
忆阻交叉阵列的乘法累加运算用于模拟计算
本站小编 Free考研考试/2022-01-01
忆阻器现在正成为非冯诺依曼存内计算体系结构的基石之一。通过将数值矩阵映射为忆阻器十字交叉阵列中每一个节点的模拟式电导值,可以基于欧姆定律和基尔霍夫定律以大规模并行方式执行有效的乘法累加(Multiply Accumulate, MAC)运算。近年来,基于忆阻器的存内计算加速器受到了学术界和工业界的广泛关注。不仅仅是基于忆阻器的内存中计算加速器紧密集成了模拟计算和内存功能,打破了传统冯诺依曼架构中中央处理器和内存之间数据传输的瓶颈。更重要的是,通过将一些功能单元添加到忆阻阵列的外围,该阵列能够在几乎一个读取操作的延迟内执行MAC计算,而不会随着输入数据维度的增加而增加。而MAC运算在各种数据密集型计算任务中被频繁使用,成为主要能耗操作之一。忆阻器和模拟计算算法的结合引发了一个新的研究领域,即“忆阻模拟计算”或“忆阻存内计算”。
在这篇综述中,华中科技大学缪向水教授团队介绍了忆阻器在两个利基应用中的最新进展:神经网络加速器和数值计算,主要侧重于硬件演示的进展。在这两类应用中,MAC运算都是其主要运算之一,并且数据密集度高,消耗了大部分计算时间和功耗,因此利用忆阻阵列的一步完成MAC运算的优势能大幅提高计算能效,有望突破冯诺伊曼瓶颈问题。前一种方法被认为是“软计算”(soft computing),因为它可以容忍某种程度的器件及阵列缺陷。具体描述了忆阻阵列在多层感知器、卷积神经网络、生成对抗网络和长短期记忆神经网络中的加速作用。后者属于“硬计算”(hard computing),因为解决数字问题需要高精度的器件。这一部分主要强调了忆阻方程求解器在计算精度上的一些突破。此外,还简要介绍了其他具有模拟计算功能的非易失性器件,包括相变器件、铁电晶体管、浮栅晶体管等。最后,讨论了实现忆阻型模拟计算机的未来挑战和机遇。
图1.(a)传统乘法累加运算单元的操作示意图;(b)忆阻阵列一步完成乘法累加运算示意图。
值得注意的是,对这一新兴学科的研究和实践仍处于早期阶段。首先,仍然需要进一步研究以了解忆阻器的物理原理并优化器件性能。忆阻器在半导体存储器领域的传统应用着眼于二进制电阻切换特性,但是,MAC操作和模拟计算对器件的模拟特性提出了很高的要求。从物理原理上看,器件的操作依赖于导电细丝形成和断裂,随机性较大,因此很难获得高精度、高一致性、线性和对称的电导调节特性。尽管对于神经网络,可以容忍某种程度的电导写入/读取误差和噪声以及其他可靠性问题(例如良率、状态漂移和器件崩溃等),但对于数值计算,这些缺陷都会导致计算精度的显著降低。为此,需要在理论和实验知识上都更进一步,这不仅有助于更好地控制导电丝的演变和稳定性,而且能在材料选择、器件结构优化和制造工艺开发方面提供指导。除了基本的器件层面,还需要努力以高器件良率将其扩展到阵列和芯片规模。器件内部的变化应得到很好的控制,I-R drop问题和其他寄生效应也应予以考虑。同样重要的是,与针对目标应用而特别设计的外围电路相集成,例如紧凑型神经元电路、模数转换器和数模转换器等。
同时,矩阵计算算法的设计和优化也需要更多的关注,以使其与高性能器件的开发协同作用。首先,深度学习和其他机器学习技术已在图像和语音识别等某些应用场景中将AI超越了人脑,但是从硬件实现的角度来看,网络的规模太大,需要存储的网络参数远远超出了当今忆阻器技术的能力。因而,忆阻网络压缩方法的发展,例如量化和蒸馏,变得尤为重要,特别是对于计算资源有限的边缘端物联网设备而言。其次,我们是否可以开发基于忆阻器阵列甚至科学计算核心的通用方程求解器,仍然是一个悬而未决的问题。从一些基本且重要的矩阵计算开始当然会更容易。当涉及到更复杂、更大规模的问题时,它仍然需要更长的时间和更坚定的探索。忆阻器构建的数值计算处理单元可以补充或替换特定应用中的高精度CPU或GPU,这将是很有趣的。另外,计算系统的可重新配置性也是一个值得探索的方向。这意味着可以根据用户的需求和定义,在同一基于忆阻器的内存中计算系统中任意执行“软”神经网络加速和“硬”数值计算。
总体而言,忆阻交叉阵列中的模拟计算已被证明是现有计算范式中有前途的替代方案之一。相信在未来的人工智能时代,忆阻器及其引人入胜的内存计算能力将继续引起越来越多的关注。同样重要的是,只有通过在器件、算法和体系结构级别上的共同努力,我们才能看到2020年代在日常生活中应用的忆阻计算系统。
Multiply accumulate operations in memristor crossbar arrays for analog computing
Jia Chen, Jiancong Li, Yi Li, Xiangshui Miao
J. Semicond. 2021, 42(1): 013104
doi: 10.1088/1674-4926/42/1/013104
Full Text: http://www.jos.ac.cn/article/doi/10.1088/1674-4926/42/1/013104?pageType=en
相关话题/计算 网络 系统 数据 介绍
电解质晶体管在神经形态计算中的应用
随着人类社会数据量的急剧增加以及数据类型复杂程度的提高,传统冯诺依曼架构计算系统由于存储墙限制越来越难以满足需求。在大数据时代,类似于人脑的神经网络型信息处理模式效率将会明显优于传统架构计算机,开发符合神经形态计算特性的电子器件进而构建大规模人工神经网络,成为未来信息科技发展的一个重要方向。人工突触 ...中科院半导体研究所 本站小编 Free考研考试 2022-01-01用于新型存储和神经形态计算的忆阻器
阻变存储器(RRAM)又称为忆阻器,其具有非常简单的两端器件结构,几乎满足了易失性存储器、非易失性存储器和神经形态特征的所有基本要求。目前正对一系列材料(如生物材料、钙钛矿、二维材料、过渡金属氧化物)的存储和神经形态行为进行研究。在本综述中,韩国汉阳大学材料科学与工程系Changhwan Choi教 ...中科院半导体研究所 本站小编 Free考研考试 2022-01-01清华微电子所研制出基于动态忆阻器的新型储备池计算系统
储备池计算(Reservoir Computing, RC)是一种适用于处理时序信号的高效人工神经网络,其衍生于传统的递归神经网络(RNN),但具有更低的训练代价和更简易的硬件实现,已经在动态系统识别、时间序列预测等领域得到广泛应用。最新研究发现,复杂连接的递归神经网络可以被一个非线性的动态物理系统 ...中科院半导体研究所 本站小编 Free考研考试 2022-01-01半导体所在柔性集成偏振敏感放大系统方面取得新进展
光的偏振态携带着大量无法通过光强、波长、频率和相位来获得的有效信息。利用偏振光敏感光电探测器实现对偏振光的有效检测,可以增强被检测物体的信息,显著提高目标对比度。目前,偏振敏感光电探测器广泛应用于工业、国家安全、生物诊断和天文学等多个领域,具有重要的应用价值和研究意义。然而,传统的偏振光检测系统结构 ...中科院半导体研究所 本站小编 Free考研考试 2022-01-01半导体所在柔性光机通讯系统方面取得新进展
随着人工智能和物联网的快速发展,人机交互这一概念也活跃在人们的视野当中,并不断丰富着人、机械以及外部信息环境的信息交换方式。目前,机械、系统的控制大多需要接触连接,而这种传统的接触连接面临着由于机械接触引起的机械疲劳、磨损等问题。为了解决这一问题,开发一种应用于机械与环境信息交互的,与交互界面直接无 ...中科院半导体研究所 本站小编 Free考研考试 2022-01-01三十米望远镜自适应光学系统试验冷却机组交付使用
2021年5月,理化所研制的三十米望远镜(TMT)自适应光学系统试验冷却机组运抵加拿大,并交付TMT项目参与方、加拿大国家研究委员会赫茨伯格天文研究所(Herzberg Astronomy and Astrophysics,NRC)。2021年6月2日,三十米望远镜项目主页报道了这一进展。 图 ...中科院理化技术研究所 本站小编 Free考研考试 2022-01-01双余热源驱动吸收式制冷实现天然气液化系统能效提升
大力发展天然气是我国能源发展战略的主要内容之一,也是实现“碳中和”的有效途径。我国天然气储量超过100万亿标方,其中70%以上属于非常规偏散天然气源,包括煤层气、页岩气、油田伴生气等,其产地偏远、资源分散。传统大型固定式液化工厂加管网的集输模式经济性差,因此该类气源大都直接放空或燃烧,造成了严重的能 ...中科院理化技术研究所 本站小编 Free考研考试 2022-01-01Advanced Intelligent Systems:以液态金属打造柔性逻辑门器件及计算执行单元
近年来,柔性运动机器由于具有交互友好、通用性强、适用领域广等优点,在业界引发的关注度与日俱增。然而,由于此类器件立足于柔性体结构变形的运动机制,与传统运动理论指导下的刚体机器的运动行为存在有很大不同,因此对柔性对象实施有效、便捷的控制一直是重大挑战。在各类不断涌现的尝试中,依靠智能型柔性材料的特异性 ...中科院理化技术研究所 本站小编 Free考研考试 2022-01-01大型氦低温制冷系统研制三方合作协议签约仪式在理化所举行
6月4日,中科院理化所、中科院近代物理所、中山先进低温研究院关于“大型低温制冷系统研制”三方合作协议签约仪式在理化所举行。理化所所长汪鹏飞,副所长王雪松,党委副书记兼纪委书记、中山先进低温研究院理事长刘新建,原党委书记王越超,近物所所长徐瑚珊、副所长胡正国、所务委员何源、直线加速器中心副主任张军辉, ...中科院理化技术研究所 本站小编 Free考研考试 2022-01-01三十米望远镜自适应光学系统试验冷却机组交付使用
2021年5月,理化所研制的三十米望远镜(TMT)自适应光学系统试验冷却机组运抵加拿大,并交付TMT项目参与方、加拿大国家研究委员会赫茨伯格天文研究所(Herzberg Astronomy and Astrophysics,NRC)。2021年6月2日,三十米望远镜项目主页报道了这一进展。 图 ...中科院理化技术研究所 本站小编 Free考研考试 2022-01-01