基于优选典型相关分量的跨媒体检索模型
李广丽1(
),刘斌1,朱涛1,殷依2,张红斌2,3 1. 华东交通大学信息工程学院, 江西 南昌 330013
2. 华东交通大学软件学院, 江西 南昌 330013
3. 武汉大学计算机学院, 湖北 武汉 430072
收稿日期:2017-10-25出版日期:2018-10-01发布日期:2017-10-25作者简介:李广丽(1978—)，女，广西博白人，副教授，工学硕士，主要研究方向为跨媒体检索，推荐系统，机器学习. E-mail：基金资助:国家自然科学基金资助项目(61762038);国家自然科学基金资助项目(61741108);国家自然科学基金资助项目(61463017);江西省自然科学基金资助项目(20171BAB202023);江西省科技厅重点研发计划资助项目(20171BBG70093);教育部人文社会科学研究资助项目(16YJAZH029);教育部人文社会科学研究资助项目(17YJAZH117);江西省社科规划资助项目(16TQ02);江西省普通本科高校中青年教师发展计划访问****专项资金基金资助项目(赣教办函[2016]109号);江西省教育厅科技资助项目(GJJ160509);江西省教育厅科技资助项目(GJJ160531);江西省教育厅科技资助项目(GJJ160497);江西省高校人文社科基金资助项目(TQ1503);江西省高校人文社科基金资助项目(XW1502)Cross-media retrieval model based on choosing key canonical correlated vectors
Guangli LI1(),Bin LIU1,Tao ZHU1,Yi YIN2,Hongbin ZHANG2,3 1. School of Information Engineering, East China Jiaotong University, Nanchang 330013, Jiangxi, China
2. Software School, East China Jiaotong University, Nanchang 330013, Jiangxi, China
3. Computer School, Wuhan University, Wuhan 430072, Hubei, China
Received:2017-10-25Online:2018-10-01Published:2017-10-25Supported by:国家自然科学基金资助项目(61762038);国家自然科学基金资助项目(61741108);国家自然科学基金资助项目(61463017);江西省自然科学基金资助项目(20171BAB202023);江西省科技厅重点研发计划资助项目(20171BBG70093);教育部人文社会科学研究资助项目(16YJAZH029);教育部人文社会科学研究资助项目(17YJAZH117);江西省社科规划资助项目(16TQ02);江西省普通本科高校中青年教师发展计划访问****专项资金基金资助项目(赣教办函[2016]109号);江西省教育厅科技资助项目(GJJ160509);江西省教育厅科技资助项目(GJJ160531);江西省教育厅科技资助项目(GJJ160497);江西省高校人文社科基金资助项目(TQ1503);江西省高校人文社科基金资助项目(XW1502)摘要/Abstract
摘要： 在跨媒体检索中,准确利用异构媒体间的语义相关性是制约检索性能优劣的关键因素之一。提出改进的核典型相关分析(modified kernel canonical correlation analysis, MKCCA)模型,以改善跨媒体检索性能:抽取图像的尺度不变特征变换(scale invariant feature transform, SIFT)与描述灰度纹理的空间包络特征(GIST),抽取文本的词频(term frequency, TF)特征;精选映射核,把图像、文本特征映射到高维可分空间中,生成核矩阵;基于典型相关分析(canonical correlation analysis, CCA)方法挖掘图像、文本核矩阵间的非线性语义相关性;设置语义相关度阈值,降低语义噪声干扰并优选核心典型相关分量,更准确、鲁棒地刻画图像与文本间的语义关联。试验表明:SIFT-TF特征组合整体表现最好,而MKCCA模型与高斯核(gauss kernel)配合可获取最优跨媒体检索性能,其图像检索文本与文本检索图像的平均精度均值(mean average precision, MAP)较次优指标分别提升3.06%和1.18%。
PDF全文下载地址:
http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=1761
