于颖彦教授利用深度学习模型预测胃黏膜良恶性病变新进展

胃癌是严重危害我国人民生命健康的上消化道恶性肿瘤。根据细胞形态与组织结构，传统的Lauren分型将胃癌分为肠型、弥漫型和未确定型。其中肠型约占胃癌病例的60％以上，是胃癌的最常见组织学类型。肠型胃癌发生发展的病程较长,发病率较高,常被认为是由慢性萎缩性胃炎、肠上皮化生和不典型增生演变而来。慢性炎症与肿瘤的发生有着密切的关系，有学者提出慢性炎症是许多恶性肿瘤发生的高危因素，参与恶变、肿瘤形成、发展、侵袭和转移等多个过程，被列为肿瘤细胞十大生物学特征之一。然而，炎症向肿瘤的转化具有时程长、小概率、机制复杂等特点，其内在规律迄今尚未阐明。随着大数据、人工智能等新型信息技术的兴起，促进了大批生物医学研究的突破，如何从海量的生物学数据中找到生物系统和整个机体的运行规律，成为未来最具挑战性的科学前沿问题之一。因此，如何建立新的研究方法，了解和揭示胃黏膜病变演变过程，对于预防和治疗胃癌至关重要。

在第十五届全国胃癌学术会议上，来自上海交通大学医学院附属瑞金医院消化外科研究所的于颖彦教授详细介绍了人工智能技术与胃黏膜病理图像深度融合对提高胃癌诊断精确性的最新成果。于颖彦教授近年来携手清华大学深圳研究院智慧医疗中心AI团队开展跨学科合作，提出了一种基于深度学习技术构建的胃组织病理图像AI诊断系统。该系统可以实现对胃组织病理图片从正常黏膜-慢性胃炎-肠型胃癌的三分类全自动检测。由于该项研究的全部训练数据集均由资深病理学专家进行人工标注，使得训练获得的AI模型准确性大大提高，是近年来人工智能医学图像分析在临床辅助诊断领域的又一重要进展。

该研究入组了763 张胃黏膜病理切片，全部先经过KF-pro-400 全自动切片扫描仪进行指趾病理图像的转化（whole-slide images，WSI），然后由资深病理医师利用ASAP软件分别将切片中的正常胃黏膜、慢性胃炎和肠型胃癌区域标注出来。其中 338 张是正常胃黏膜，118张是慢性胃炎，307张是肠型胃癌。AI团队的分析人员利用上述标注好的WSI进行组织图像染色的归一化处理，使得WSI图片的染色差异明显降低，不仅仅节省了重新制备玻片的经济成本和时间成本，同时实现了优化AI分析模型的效果（图1）。由于病理学指趾化图像过大（每张平均数据量约2-3Gb）无法直接放入计算机分析，均需要先将图像切割成子图集（patches）再进行后续的AI模型训练。利用子图集训练计算机也是借鉴了病理学家常规阅片时从低倍-中倍-高倍的逐级放大过程。本研究分别采用了像素（pixels）为 768×768、1024×1024、1495×1495 和2048×2048的子图集去训练计算机模型，不仅识别出不同尺度的组织结构轮廓特征，还识别到精细的细胞纹理特征。AI介入医学影像分析研究中，理想状态是纳入训练的图像越多越好，但现实情况下往往是能够采集到的图像有限。因此，AI研究人员还通过30度旋转、镜像、20%维度移动或者切割、垂直翻转或者水平翻转等技术手段进行图像扩增。

医学影像分析中最常用的计算机模型称之为卷积神经网络（convolutional neural networks，CNN）模型。经过近几年的发展，开源数据平台中已有数个较为成熟的模型可供选择，但若将现存的模型均测试一遍则既费时间又会给计算机硬件增加负担。针对这一问题，课题组采取的措施是先用少量子图集对各种模型进行初步测试，比如VGG16、Resnet50、Densenet169、InceptionResnet v2和Inception v3。经预实验发现Inception v3表现良好，遂选择该CNN模型用于后续研究。该模型既往在皮肤癌分类、糖尿病视网膜病变分类研究中均表现良好，Inception v3为谷歌公司开发的CNN模型，也比较适合病理学图像分析。本研究以Inception v3为基础，增加了一个全局平均池化层（global average pooling layer）、两个全连接层（fully connected layers）和一个软最大层（soft-max layer），经过改良的 Inception v3模型最终达到43层（图2）。分析模型确立后便在子图级别（图块）进行病变图像的预测。研究显示，该模型对两分类目标病变（正常-胃癌两分类）的识别准确率达到98.4%，在三分类病变（正常-慢性炎症-胃癌三分类）的识别准确率达到94.5%。在进一步的WSI整图级分类任务中，对正常胃黏膜组织和肠型胃癌组织的识别准确率达到96.0%。

本研究还探索了AI技术用于胃黏膜病变的可视化展示，探究CNN模型是如何提取不同发展阶段胃黏膜病变的形态学特征，从而发现其演变规律。可视化的目的是尽可能展示模型所学到的隐含信息，是深度学习领域的一个重要研究方向。该研究通过梯度加权类激活映射（Grad-CAM）法和显著性映射（saliency maps）法展示了不同病变中所表现的子图级别特征，通过可视化研究可以反映正常胃黏膜腺体规则而致密的排列特征。而慢性炎症图像中则出现黏膜腺体的丢失，以及类似于肠黏膜腺体的化生性上皮细胞。比如，在显著性映射图像分析中观察到肠上皮化生不规则腺体细胞质内的粘蛋白液滴（图3D）。在Grad-CAM分析中清楚地显示了胃癌区域结构变形的腺体（图3E）。

而CNN模型提取的特征是否能够预测患者的预后尚鲜有报道。该项研究结合临床长期随访结果，探索了利用CNN模型提取关键特征对胃癌进行预后分析，并将提取的特征与决策树分析相结合，显示出对胃癌患者预后判断具有辅助诊断价值。尽管目前对患者预后判断主要依靠TNM临床病理分期，但该研究发现，如果将AI提取特征与TNM分期指标相结合（表1），可明显提高对胃癌预后预测的准确性（图4）。

该研究得到了上海市科委西医重点项目、科技部重点研发项目、国家自然科学基金委以及上海交大医工交叉重点项目等的大力支持。

于颖彦教授 利用深度学习模型预测胃黏膜良恶性病变新进展

于颖彦教授利用深度学习模型预测胃黏膜良恶性病变新进展