原位电子显微技术 (EM) 与超快探测器的发展为探索材料的动力学打开了一扇新的大门，然而，这也对透射电镜大数据压缩和存储提出了巨大的挑战。开发一种高效高保真的大数据压缩策略对于推动透射电子技术的广泛应用具有重要意义。本项工作发表于在Cell Press旗下期刊Patterns，题为“Super-compression of large electron microscopy time series by deep compressive sensing learning”的文章。在这一工作中， 作者结合深度学习（deep learning）和时间压缩感知（temporal compressive sensing）提出一种新颖的 EM 大数据压缩策略。具体而言，时间压缩感知 (TCS) 首先用作编码器，将多个帧压缩为单帧测量，显着降低了带宽和数据传输、存储的内存要求。然后构建端到端的深度学习网络，以极高的速度从单帧测量中重建原始图像系列。由于深度学习框架的压缩效率和内置去噪能力比传统的 JPEG 压缩显着提高，因此可以高保真地重建压缩比高达30的原位系列图像或视频。使用这一策略可以节省大量的编码能力、内存和传输带宽。这一技术将有望在电镜和其他成像技术的大数据存储中获得广泛应用。
图1. 用于大数据电子显微镜 (EM) 的时间压感知-深度学习(TCS-DL) 框架结构
真实场景光谱丰富。自摄影诞生以来，捕捉颜色以及光谱信息一直是一个核心问题。我们提出了一种即插即用 (PnP) 方法，该方法使用基于深度学习的降噪器作为光谱快照压缩成像 (SCI) 的正则化先验。 我们的方法有效的权衡了压缩图像重建的质量和速度，并且可以灵活地用于不同的压缩编码机制。 这为在一个快照中捕获和恢复多光谱或高光谱信息铺平了道路，这可能会激发遥感、生物医学科学和材料科学中有趣的应用。相关文章发表于Photonics Research。
图2. 典型光谱 SCI 系统的图像形成过程，即 SD-CASSI 和使用所提出的深度即插即用 (PnP) 先验算法的重建过程
参考文献：
1.Siming Zheng, Yang Liu, Ziyi Meng, Mu Qiao, Zhishen Tong, Xiaoyu Yang, Shensheng Han, and Xin Yuan, "Deep plug-and-play priors for spectral snapshot compressive imaging," Photon. Res.9, B18-B29 (2021)
2.Zheng S, Wang C, Yuan X, et al. Super-compression of large electron microscopy time series by deep compressive sensing learning[J]. Patterns, 2021: 100292.
附件下载
中国科学院基本建设项目档案建档规范 科研课题档案建档规范 -->
