周华兵^1,2,侯积磊^1,2,吴伟^1,2,张彦铎^1,2,吴云韬^1,2,马佳义³

¹(武汉工程大学计算机科学与工程学院 武汉 430205);²(智能机器人湖北省重点实验室(武汉工程大学) 武汉 430205);³(武汉大学电子信息学院 武汉 430072) (zhouhuabing@gmail.com)

出版日期: 2021-02-01


基金资助:国家自然科学基金项目(61771353,61773295,62072350,41501505)；湖北省技术创新工程项目(2019AAA045)

Infrared and Visible Image Fusion Based on Semantic Segmentation

Zhou Huabing^1,2, Hou Jilei^1,2, Wu Wei^1,2, Zhang Yanduo^1,2, Wu Yuntao^1,2, Ma Jiayi³

¹(College of Computer Science and Engineering, Wuhan Institute of Technology, Wuhan 430205);²(Hubei Key Laboratory of Intelligent Robot (Wuhan Institute of Technology), Wuhan 430205);³(Electronic Information School, Wuhan University, Wuhan 430072)

Online: 2021-02-01


Supported by:This work was supported by the National Natural Science Foundation of China (61771353, 61773295, 62072350, 41501505) and the Hubei Technology Innovation Project (2019AAA045).

摘要/Abstract

摘要： 红外图像即使在低光照条件下，也能根据热辐射的差异将目标与背景区分开来，而可见光图像具有高空间分辨率的纹理细节，此外，红外和可见光图像都含有相应的语义信息.因此，红外与可见光图像融合，需要既保留红外图像的辐射信息，也保留可见光图像的纹理细节，同时，也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜，提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法，能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络，并针对源图像的不同区域设计了2种不同的损失函数，以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模，并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域；然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像；最后将2幅融合图像结合起来得到最终融合图像.实验表明，融合结果目标区域对比度更高，背景区域纹理细节更丰富，提出的方法取得了较好的融合效果.

参考文献

相关文章 8

[1]	贾颖霞, 郎丛妍, 冯松鹤. 基于类别相关的领域自适应交通图像语义分割方法[J]. 计算机研究与发展, 2020, 57(4): 876-887.
[2]	王财勇, 孙哲南. 虹膜分割算法评价基准[J]. 计算机研究与发展, 2020, 57(2): 395-412.
[3]	蔺素珍,朱小红,王栋娟,王肖霞. 基于嵌入式多尺度变换的多波段图像融合[J]. 计算机研究与发展, 2015, 52(4): 952-959.
[4]	王晓慧 贾 珈 蔡莲红. 基于小波图像融合的表情细节合成[J]. , 2013, 50(2): 387-393.
[5]	曹世翔 江 洁 张广军 袁 艳. 边缘特征点的多分辨率图像拼接[J]. , 2011, 48(9): 1788-1793.
[6]	隆 刚 肖 磊 陈学佺. Curvelet变换在图像处理中的应用综述[J]. 计算机研究与发展, 2005, 42(8): 1331-1337.
[7]	鲍复民, 李爱国, 覃 征,. 基于SGNN的图像融合[J]. , 2005, 42(3): -.
[8]	陈 涛 易 沫 刘忠轩 彭思龙. 相似尺度图像融合算法[J]. , 2005, 42(12): 2126-2130.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4357