• 1. 宁夏大学 信息工程学院(银川 750021);
  • 2. 银川市第一人民医院 医技科(银川 750002);
  • 3. 中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室(银川 750006);
导出 下载 收藏 扫码 引用

超声检查是甲状腺病变检查中的常用手段,其检查结果主要由甲状腺超声图像和检查所见文本报告组成。实现医疗图像与文本报告的互相检索(简称:互检)可以为医生及患者提供极大的便利,但目前尚未有将甲状腺超声图像与文本报告相关联的互检方法。本文提出一种基于深度学习的跨模态甲状腺图文互检方法,并在跨模态生成对抗网络的基础上提出改进方法:① 将原网络中用于构建公共表示空间的部分全连接层之间的权重共享约束改为余弦相似度约束,能使网络更好地学习不同模态数据的公共表示;② 在跨模态判别器前加入全连接层,将权重共享的原网络中图像和文本全连接层合并在一起,在继承了原网络权重共享的优点基础上实现语义正则化。实验结果表明,本文方法的甲状腺超声图像与文本报告互检平均精度均值可以达到 0.508,较传统跨模态方法有较大提升,为甲状腺超声图像和文本报告的跨模态检索提供了新手段。