【封面论文】从偏振光成像到病理诊断：CycleGAN助力虚拟染色技术的新突破

Generating bright-field images of stained tissue slices from Mueller matrix polarimetric images with CycleGAN using unpaired dataset

Jiahao Fan, Nan Zeng, Honghui He, Chao He, Shaoxiong Liu, and Hui Ma

https://doi.org/10.1142/S1793545823430034

在生物医学光子学领域，偏振光成像技术正逐渐成为临床诊断中的重要工具。然而，由于偏振图像难以被人类直接解读，如何将其转化为病理学家熟悉的染色图像，一直是该领域亟待解决的问题之一。近期，清华大学深圳国际研究生院的何宏辉与牛津大学的何超研究团队合作在《Journal of Innovative Optical Health Sciences》上发表了一篇题为“Generating bright-field images of stained tissue slices from Mueller matrix polarimetric images with CycleGAN using unpaired dataset”的研究论文，提出了一种基于CycleGAN的创新方法，能够将病理组织切片的偏振光成像结果转化为标准的苏木精-伊红（H&E）染色组织图像，为未来偏振辅助数字病理学的发展提供了新的思路。

偏振光成像与病理诊断的结合

偏振光成像作为一种无标记、非接触的成像技术，能够提供丰富的生物医学样本结构和光学信息。Mueller矩阵（MM）偏振光成像能够描述样本的偏振调制能力，包含大量的组织结构信息，对临床应用具有重要意义。然而，由于人类无法直接观察偏振光，如何将偏振光成像结果直观地呈现给病理学家，成为了一个关键问题。传统的病理诊断依赖于对组织切片进行化学染色，如H&E染色，但这种染色过程复杂且耗时。近年来，虚拟染色技术的发展为解决这一问题提供了可能，该技术通过计算机图像处理和分析方法，将未染色的组织切片图像虚拟染色，从而避免了化学染色过程。

CycleGAN助力虚拟染色

在这项研究中，研究团队提出了一种基于CycleGAN的模型，能够将MM偏振光成像结果转化为标准的H&E染色图像。与现有的基于配对图像训练的虚拟染色技术不同，该方法仅使用未配对的偏振光图像和明场图像进行训练，大大简化了数据获取和预处理过程。研究团队通过主成分分析（PCA）将16通道的MM数据降维至3通道，以匹配明场图像的通道数，并采用“Vahadane”染色归一化算法对明场图像进行处理，确保图像染色风格的一致性。在模型训练过程中，研究团队采用了包括对抗损失、循环一致性损失、结构相似性损失和同一性损失在内的多种损失函数，以提高生成图像的质量和一致性。

实验结果与评估

研究团队对9例人类肠道组织切片进行了实验，分别获取了450张偏振光图像和450张明场图像，并通过裁剪生成了13,500张训练图像。实验结果表明，该模型能够有效地将偏振光图像转化为与真实H&E染色图像高度相似的图像。通过结构相似性指数（SSIM）和峰值信噪比（PSNR）两种图像相似性评估指标的测试，模型的性能得到了进一步验证。实验结果表明，加入跳跃连接结构和SSIM损失函数的模型在结构信息的保留和染色效果的准确性方面表现更为出色，SSIM值达到0.71，PSNR值达到31.24。

Fig. 4. Testing results of the proposed CycleGAN model. (a) Polarization images as input of the model. (b) Bright-field images registered with polarization images. (c) Generation results of the model without skip-connection structure and SSIM loss function. (d) Generation results of the model with skip-connection structure and SSIM loss function.

结语

这项研究为偏振光成像技术在病理诊断中的应用提供了一种新的途径。通过将偏振光成像与虚拟染色技术相结合，不仅保留了偏振光成像丰富的结构信息，还提高了病理学家对成像结果的解读能力。未来，研究团队计划进一步优化模型，探索使用更多的偏振参数作为输入，以提高生成图像的准确性和对比度。这一成果有望推动偏振光成像技术在临床诊断中的广泛应用，为数字病理学的发展注入新的活力。

通讯作者简介

何宏辉，清华大学深圳国际研究生院副研究员，主要从事光学成像方法及其在生物医学应用方面的研究，具体研究领域包括偏振散射成像原理，偏振光与生物组织相互作用模型，偏振光散射成像在组织病理检测方面的应用，偏振显微镜、偏振内窥镜等仪器设备开发等。

更多详情见：https://ibhe.sigs.tsinghua.edu.cn/2022/1125/c5910a59053/page.htm