基于多模态子空间学习的语义标签生成方法

田枫(),李欣,刘芳*(),李闯,孙小强,杜睿山

东北石油大学计算机与信息技术学院，黑龙江 大庆 163318

收稿日期:2019-05-14出版日期:2020-06-20发布日期:2020-06-16
通讯作者:刘芳E-mail:tianfeng1980@163.com;lfliufang1983@126.com
作者简介:田枫(1980—)，男，黑龙江大庆人，教授，博士，主要研究方向为计算机视觉.E-mail: tianfeng1980@163.com
基金资助:国家自然科学基金资助项目(61502094);东北石油大学优秀中青年科研创新团队资助项目(KYCXTD201903);黑龙江省高等教育教学改革研究项目(SJGY20180079);黑龙江省高等教育教学改革研究项目(SJGY20190098);黑龙江省哲学社会科学研究规划项目资助项目(19SHE280);大庆市哲学社会科学规划研究项目(DSGB2019042)

A semantictag generation method based on multi-model subspace learning

Feng TIAN(),Xin LI,Fang LIU*(),Chuang LI,Xiaoqiang SUN,Ruishan DU

School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, Heilongjiang, China

Received:2019-05-14Online:2020-06-20Published:2020-06-16
Contact:Fang LIU E-mail:tianfeng1980@163.com;lfliufang1983@126.com

Supported by:国家自然科学基金资助项目(61502094);东北石油大学优秀中青年科研创新团队资助项目(KYCXTD201903);黑龙江省高等教育教学改革研究项目(SJGY20180079);黑龙江省高等教育教学改革研究项目(SJGY20190098);黑龙江省哲学社会科学研究规划项目资助项目(19SHE280);大庆市哲学社会科学规划研究项目(DSGB2019042)

摘要/Abstract

摘要： 基于已有的视觉空间和文本空间上标签相关性建模方法，提出一种多模态子空间学习的语义标签生成方法。通过建立视觉特征相似图，以非线性方式重构“图像-标签”相关性，进而将图像的视觉模态表示和标签的文本模态表示统一到多模态子空间中，并保证空间变换前后具备结构保持。在该空间中，标签的文本模态与图像的视觉内容模态信息彼此互补，语义相关的图像和标签映射到空间中相近的样本点，进而将语义标签生成问题转换为子空间内图像的近邻标签搜索问题。结果表明，该方法在FLICKR-25K数据集上，性能达到36.88%，在NUS-WIDE数据集上，性能达到44.17%，多模态子空间学习的语义标签生成方法可以大幅度提升标签生成的准确性。


PDF全文下载地址:

http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=1934