删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于语义分割的红外和可见光图像融合

本站小编 Free考研考试/2022-01-01

周华兵1,2,侯积磊1,2,吴伟1,2,张彦铎1,2,吴云韬1,2,马佳义3
1(武汉工程大学计算机科学与工程学院 武汉 430205);2(智能机器人湖北省重点实验室(武汉工程大学) 武汉 430205);3(武汉大学电子信息学院 武汉 430072) (zhouhuabing@gmail.com)
出版日期: 2021-02-01


基金资助:国家自然科学基金项目(61771353,61773295,62072350,41501505);湖北省技术创新工程项目(2019AAA045)

Infrared and Visible Image Fusion Based on Semantic Segmentation

Zhou Huabing1,2, Hou Jilei1,2, Wu Wei1,2, Zhang Yanduo1,2, Wu Yuntao1,2, Ma Jiayi3
1(College of Computer Science and Engineering, Wuhan Institute of Technology, Wuhan 430205);2(Hubei Key Laboratory of Intelligent Robot (Wuhan Institute of Technology), Wuhan 430205);3(Electronic Information School, Wuhan University, Wuhan 430072)
Online: 2021-02-01


Supported by:This work was supported by the National Natural Science Foundation of China (61771353, 61773295, 62072350, 41501505) and the Hubei Technology Innovation Project (2019AAA045).




摘要/Abstract


摘要: 红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.






[1]贾颖霞, 郎丛妍, 冯松鹤. 基于类别相关的领域自适应交通图像语义分割方法[J]. 计算机研究与发展, 2020, 57(4): 876-887.
[2]王财勇, 孙哲南. 虹膜分割算法评价基准[J]. 计算机研究与发展, 2020, 57(2): 395-412.
[3]蔺素珍,朱小红,王栋娟,王肖霞. 基于嵌入式多尺度变换的多波段图像融合[J]. 计算机研究与发展, 2015, 52(4): 952-959.
[4]王晓慧 贾 珈 蔡莲红. 基于小波图像融合的表情细节合成[J]. , 2013, 50(2): 387-393.
[5]曹世翔 江 洁 张广军 袁 艳. 边缘特征点的多分辨率图像拼接[J]. , 2011, 48(9): 1788-1793.
[6]隆 刚 肖 磊 陈学佺. Curvelet变换在图像处理中的应用综述[J]. 计算机研究与发展, 2005, 42(8): 1331-1337.
[7]鲍复民, 李爱国, 覃 征,. 基于SGNN的图像融合[J]. , 2005, 42(3): -.
[8]陈 涛 易 沫 刘忠轩 彭思龙. 相似尺度图像融合算法[J]. , 2005, 42(12): 2126-2130.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4357
相关话题/图像 信息 计算机 武汉工程大学 实验

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 多特征信息融合LSTM-RNN检测OSA方法
    朱兆坤1,2,3,李金宝11(齐鲁工业大学(山东省科学院)山东省人工智能研究院济南250014);2(黑龙江大学计算机科学技术学院哈尔滨150080);3(黑龙江大学软件学院哈尔滨150080)(zzklove3344@hotmail.com)出版日期:2020-12-01基金资助:国家自然科学基金 ...
    本站小编 Free考研考试 2022-01-01
  • 基于多尺度滤波器的空域图像隐写增强算法
    吴俊锜,翟黎明,王丽娜,方灿铭,吴畑(空天信息安全与可信计算教育部重点实验室,武汉大学国家网络安全学院武汉430072)(jqwu@whu.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金重点项目(U1536204);国家自然科学基金项目(U1836112,61876134)E ...
    本站小编 Free考研考试 2022-01-01
  • 基于失真-扩展代价的JPEG图像可逆数据隐藏
    王洋洋1,和红杰1,陈帆1,张善俊21(信号与信息处理四川省重点实验室(西南交通大学)成都611756);2(神奈川大学理学部信息科学科日本神奈川県平塚市2591293)(wyy.wang@foxmail.com)出版日期:2020-11-01基金资助:国家自然科学基金项目(U1936113,618 ...
    本站小编 Free考研考试 2022-01-01
  • 基于边缘计算的进化多目标优化图像隐写算法
    丁旭阳1,谢盈1,2,张小松11(电子科技大学计算机科学与工程学院成都611731);2(西南民族大学计算机科学与工程学院成都610041)(dingxuyang@uestc.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金项目(61902326);西南民族大学中央高校基本科研 ...
    本站小编 Free考研考试 2022-01-01
  • 基于端信息跳扩混合的文件隐蔽传输策略
    侯博文,郭宏彬,石乐义(中国石油大学(华东)计算机科学与技术学院山东青岛266580)(78149170@qq.com)出版日期:2020-11-01基金资助:国家自然科学基金项目(61772551);山东省自然科学基金项目(ZR2019MF034)FileCovertTransferStrateg ...
    本站小编 Free考研考试 2022-01-01
  • 面向大规模图像检索的深度强相关散列学习方法
    贺周雨1,冯旭鹏2,刘利军1,3,黄青松1,41(昆明理工大学信息工程与自动化学院昆明650500);2(昆明理工大学信息化建设管理中心昆明650500);3(云南大学信息学院昆明650091);4(昆明理工大学云南省计算机技术应用重点实验室昆明650500)(he535040@qq.com)出版日 ...
    本站小编 Free考研考试 2022-01-01
  • 自动图像标注技术综述
    马艳春,刘永坚,解庆,熊盛武,唐伶俐(武汉理工大学计算机科学与技术学院武汉430070)(mayanchun@whut.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金项目(61602353);中央高校基本科研业务费专项资金(WUT:2017YB028)ReviewofAuto ...
    本站小编 Free考研考试 2022-01-01
  • 基于校园行为信息网络的生活习惯相似学生搜索
    王新澳1,段磊1,崔丁山1,卢莉1,顿毅杰2,秦蕊琦11(四川大学计算机学院成都610065);2(西北民族大学数学与计算机科学学院兰州730030)(wangxinao@stu.scu.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金项目(61972268,61572332) ...
    本站小编 Free考研考试 2022-01-01
  • 多元图融合的异构信息网嵌入
    吴瑶,申德荣,寇月,聂铁铮,于戈(东北大学计算机科学与工程学院沈阳110169)(18642113630@163.com)出版日期:2020-09-01基金资助:国家自然科学基金项目(61672142,U1435216);国家重点研发计划项目(2018YFB1003404);国家自然科学基金联合基金 ...
    本站小编 Free考研考试 2022-01-01
  • 计算机体系结构前沿技术2020专题前言
    刘志勇1,窦勇21(中国科学院计算技术研究所北京100190);2(国防科技大学长沙410073)出版日期:2020-06-01Online:2020-06-01摘要/Abstract摘要:我们高兴地向读者推出本刊“计算机体系结构前沿技术”专题!本专题收录的6篇文章既包含不同技术领域和方向的综述,也 ...
    本站小编 Free考研考试 2022-01-01