基于PAD的多特征融合图像情感语义检索研究

论文摘要

随着多媒体技术的飞速发展,图像信息日益丰富着人们的生活,如何利用计算机准确快速的检索到理想的图像成为当前的一个热门课题。目前学者们提出了许多种图像检索方法,例如基于文本的图像检索方法、基于内容的图像检索方法以及基于图像情感语义分类检索算法等,但它们的检索侧重不同,都不能较完整的表达图像蕴含的信息。因此,文中提出了基于PAD的多特征融合图像情感语义检索方法,分别从以下三个方面展开：第一,本文采用重叠分块的特征提取算法设计了一个基于底层视觉特征的图像检索系统。通过实验表明,虽然该方法能够较好的体现图像包含的视觉特征,但当以情感为检索目标时,检索效果不佳。第二,为了克服图像视觉特征与情感信息间的“语义鸿沟”,文章提出了采用BP神经网络将视觉特征映射到连续的PAD情感模型中,完成图像情感信息的预测。经过实验测试,该方法对图像情感语义的检索效果较好,但从视觉相似的角度考察,其检索结果并不理想。第三,本文提出了较为接近人类视觉感知的方法——基于PAD的多特征融合图像情感语义检索。该方法建立在有效的视觉特征与情感信息的基础上,采用多元线性回归的方法对多类特征进行信息融合。在融合过程中,本文设计了科学的行为学实验,使得到的特征融合模型更符合人类的视觉模式。在此基础上设计了验证性系统,通过对实验结果分析,证明该方法能够将图像的视觉特征和情感信息有机的结合起来,提高了检索系统的性能,具有重要的理论意义和现实意义。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 相关国内外研究现状
• 1.3 图像底层特征与情感
• 1.4 相关图像库的介绍
• 1.5 图像检索系统的性能评价指标
• 1.6 本文主要内容及组织结构
• 第二章 基于底层特征的图像检索
• 2.1 图像的语义模型
• 2.2 图像底层特征的提取
• 2.2.1 图像的颜色特征的提取
• 2.2.2 图像纹理特征的提取
• 2.3 相似性度量
• 2.4 基于重叠分块的底层视觉特征图像检索
• 2.4.1 特征提取方法及特征融合
• 2.4.2 实验及结果分析
• 2.5 本章小结
• 第三章 基于情感空间的图像检索
• 3.1 BP神经网络概述
• 3.2 基于BP神经网络的情感图像检索
• 3.2.1 底层特征的提取
• 3.2.2 图像情感空间的选取及数据
• 3.2.3 BP神经网络的设计及训练
• 3.3 系统的实现及实验结果分析
• 3.3.1 实验设计
• 3.3.2 实验结果分析
• 3.4 本章小结
• 第四章 基于线性回归的多特征融合检索
• 4.1 信息融合相关理论
• 4.2 基于线性回归的多特征融合检索方法
• 4.2.1 多元线性回归模型和回归参数的估计
• 4.2.2 基于多元线性回归的多特征融合方法
• 4.3 本章小结
• 第五章 检索系统的设计与实现
• 5.1 系统设计目标及原则
• 5.2 系统流程与功能模块设计
• 5.3 系统运行实例
• 5.4 实验方案
• 5.5 实验结果与分析
• 第六章 结论与展望
• 6.1 本文的主要工作和结论
• 6.2 下一步工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录