MIRGAN: 一种基于GAN的医学影像报告生成模型

张俊三¹(),程俏俏¹,万瑶²,朱杰³,张世栋⁴

1. 中国石油大学(华东)计算机科学与技术学院, 山东 青岛 266580
2. 浙江大学计算机科学与技术学院, 浙江 杭州 310027
3. 中央司法警官学院信息管理系, 河北 保定 071000
4. 国网山东电科院, 山东 济南 250003

收稿日期:2020-06-17出版日期:2021-04-20发布日期:2021-04-16

作者简介:张俊三(1978—)，男，山东寿光人，副教授，博士，主要研究方向为web数据挖掘，图像处理.E-mail：zhangjunsan@upc.edu.cn
基金资助:国家自然科学基金资助项目(61873280);河北省自然科学基金青年基金资助项目(F2018511002);中央司法警官学院校级科研资助项目(XYZ201602);河北省高等学校科学技术研究资助项目(Z2019037)

MIRGAN: a medical image report generation model based on GAN

Junsan ZHANG¹(),Qiaoqiao CHENG¹,Yao WAN²,Jie ZHU³,Shidong ZHANG⁴

1. College of Computer Science and Technology, China University of Petroleum(East China), Qingdao 266580, Shandong, China
2. College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, Zhejiang, China
3. Department of Information Management, the National Police University for Criminal Justice, Baoding 071000, Hebei, China
4. State Grid Shandong Electric Power Research Institute, Jinan 250003, Shandong, China

Received:2020-06-17Online:2021-04-20Published:2021-04-16

摘要/Abstract

摘要： 基于图像理解的医学影像报告生成任务与传统的图像理解任务相比, 是一个更加具有挑战的任务。针对该任务, 提出医学影像报告生成对抗网络(medical image report generative adversarial network, MIRGAN)模型。采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述。融合生成对抗网络(generative adversarial network, GAN)和强化学习(reinforcement learning, RL)方法优化生成模型的性能使其输出更高质量的报告。试验结果验证了MIRGAN模型的有效性。


PDF全文下载地址:

http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2017