提升基于深度学习的三维单分子定位算法数据处理速度

Enhancing the data processing speed of a deep-learning-based three-dimensional single molecule localization algorithm (FD-DeepLoc) with a combination of feature compression and pipeline programming

Shuhao Guo, Jiaxun Lin, Yingjun Zhang, and Zhen-Li Huang

https://doi.org/10.1142/S1793545824500251

三维单分子定位显微镜（SMLM）在生物医学领域扮演着重要角色，但其数据处理过程十分复杂。深度学习作为一种潜在工具，有望解决这一难题。近期，海南大学黄振立教授团队的张应军博士提出了一种名为 Lite-FD-DeepLoc 的新算法，通过特征压缩和流水线编程相结合的方式，显著提升了基于深度学习的三维单分子定位算法（FD-DeepLoc）的数据处理速度，为实时图像处理提供了可能。该研究成果发表于2025年第二期《Journal of Innovative Optical Health Sciences》

研究背景

SMLM 以其超高分辨率在生物学等研究领域广泛应用，如活细胞成像、细胞器相互作用及疾病发病机制研究等。SMLM 的核心技术是准确估计单分子的空间位置，并据此重建超分辨率图像（SRI）。然而，传统的基于拟合的单分子三维信息解码算法需要优化与样本和系统相关的参数，耗时较长。近年来，随着人工智能技术的快速发展，基于深度学习的三维超分辨率定位算法逐渐成为研究热点，如 DECODE 和 FD-DeepLoc 等。尽管 FD-DeepLoc 算法显著提高了成像吞吐量，但其数据处理速度仍无法完全满足在线图像处理的需求。

研究方法

研究团队基于 FD-DeepLoc 算法开发了 Lite-FD-DeepLoc 算法，以满足 3D-SMLM 的在线图像处理需求。该算法采用特征压缩方法减少模型参数，并结合流水线编程加速深度学习模型的推理过程。具体而言，通过分析 FD-DeepLoc 的网络架构，研究者尝试多次减半模型的卷积层通道数以减少模型参数，并采用超参数优化方法提升特征压缩后的模型性能。此外，研究者将 FD-DeepLoc 的数据处理过程拆分为网络前向传播和特征图转换两个阶段，针对特征图转换阶段的重复操作，采用多线程并行方法实现流水线技术，进一步加快算法运行速度。

实验结果

模拟数据处理结果显示，Lite-FD-DeepLoc 处理 256×256 像素图像的速度约为 FD-DeepLoc 的两倍，且仅略微降低了定位精度，能够实现 256×256 像素大小图像的实时处理。生物实验数据处理结果表明，Lite-FD-DeepLoc 可成功分析基于散焦和鞍点工程的数据，重建图像的全局分辨率等同甚至优于 FD-DeepLoc 算法，可达 33 纳米（整个畸变视场的 FRC 分辨率）。

Fig. 4. (a) Compared with FD-DeepLoc, the speedup ratio of Lite-FD-DeepLoc with and without pipeline programming. (b) Runtime of three algorithms when processing images with different frames.

Fig. 5. Performance of Lite-FD-DeepLoc on experimental astigmatic 3D data of NPCs. (a) Overview of the 3D SRI of Nup96. b (1–3) are the zoomed images of the region indicated by the white solid box in (a) reconstructed by Lite-FD-DeepLoc, FD-DeepLoc and DECODE separately. b(1-i), b(1-ii), b(2-i), b(2-ii), b(3-i), b(3-ii) are the zoomed images of the rectangle region (i) and (ii) indicated in b(1), b(2) and b(3), respectively. c(1–3) and d (1–3) are the zoomed images of the region indicated by the white dot box in (a) reconstructed by Lite-FD-DeepLoc, FD-DeepLoc and DECODE separately. Scale bars, 5μm (a), 1μm (c1)–(c3), 1μm (d1)–(d3), 500nm (b1)–(b3) and 50nm (b(1-i), b(1-ii), b(2-i), b(2-ii), b(3-i), b(3-ii)).

主要创新点

1. 特征压缩技术应用**：通过减半 FD-DeepLoc 模型的卷积层通道数，显著减少了模型参数，降低了计算复杂度，同时借助超参数优化训练提升模型性能，有效抑制了模型推理精度的下降。

2. 流水线编程引入**：针对 FD-DeepLoc 数据处理中的重复操作，采用流水线编程，将重复计算任务分解为主线程和子线程，实现多线程并行处理，进一步加快了算法的运行速度。

应用前景

Lite-FD-DeepLoc 算法的出现为 3D-SMLM 的实时数据处理开辟了新方向，其在满足实时性需求的同时，保证了图像质量不劣于现有先进算法。这使得在需要及时观察样本状态的场景（如单颗粒跟踪）中，能够更高效地处理数据，避免因数据无法实时处理而产生的大量数据积累，从而显著提高科学研究效率。未来，该算法有望在更多需要快速、高分辨率成像的生物医学领域得到广泛应用，如细胞动态过程监测、疾病标志物的实时检测等。

结语

本研究成功开发了 Lite-FD-DeepLoc 算法，有效解决了 3D-SMLM 中数据处理速度慢的问题，满足了实时数据处理的需求。通过模拟数据和生物实验数据的多次测试，证实了 Lite-FD-DeepLoc 在实时性与图像质量方面的优异表现，为优化基于深度学习的三维单分子定位算法提供了新的思路，对 3D-SMLM 领域的发展具有重要意义。

通讯作者简介

张应军博士是海南大学生物医学工程学院的讲师，致力于超分辨显微成像相关技术研究，包括：暗场显微成像及其应用前景发掘；基于图像分析实时对焦的全景病理图像获取方法研究；大视场超分辨显微图像获取方法探索。

更多详情见https://bme.hainanu.edu.cn/info/1108/1649.htm

版权声明：

本文由《创新光学健康科学杂志（英文）》编辑部负责整理翻译。中文内容仅供参考，一切内容请以英文论文为准。欢迎转发分享本文，如需转载，请留言或联系jiohs@mail.hust.edu.cn。