基于Web图像的视觉模式挖掘研究

论文摘要

随着网络技术的飞速发展,Web上拥有的图像资源已经越来越丰富。这个巨大的图像数据库中蕴藏着大量对用户有价值的信息。图像挖掘技术致力于对海量图像数据自动分析处理,以此获取有意义的模式和知识。基于Web的图像内容挖掘是近年来多媒体数据挖掘领域的热点研究方向之一。本文围绕Web图像的视觉模式发现和提取展开,重点研究了基于显著性和基于语义的视觉模式挖掘方法,并将这两种方法用于图像检索中的重排序。首先,本文通过研究视觉选择性注意机制的计算模型,提出了一种基于统计学习的多尺度视觉显著性模型建立方法。在此基础上,将该模型用于Web图像挖掘,提出了一种基于显著性的视觉模式提取方法。文中给出了显著图和非显著图的定义,把通常考虑显著性问题的视角从区域扩展到整幅图像。同时,进行了多尺度相关性的讨论,使用多尺度的表示方法能对图像进行更为精确地描述。根据构建的显著图和非显著图像数据库,分析了这两类图像所呈现的不同视觉特性,以此选取颜色、边缘、纹理和图像要旨(Gist)四个不同的底层特征来训练视觉显著性模型。实验部分,对模型进行了客观性的定量分析和主观性的眼动实验,验证了该模型理论假设的正确性及在实际应用中对显著图检测的有效性。其次,本文研究基于语义的视觉模式挖掘问题,提出了一种无监督的方法对来自于Web的图像自动进行聚类分析,从而提取出特定语义概念的主要视觉模式。该算法主要针对物体类概念,对于给定的查询关键词,充分利用了丰富的Web图像资源,无需人工干预自动地挖掘所包含的主要视觉模式。文中给出了具有视觉一致性图像的定义:当使用Web图像搜索引擎时,在返回结果的前几页中出现频率较高同时视觉上相似的图像往往与用户的查询主题相关。利用这些图像的一致性信息,挖掘特定语义概念的主要视觉模式。此外,Google图像搜索引擎提供了剪贴画检索功能。剪贴画不仅具有干净的背景,而且最大程度上反映了物体的基本形状。利用剪贴画的特有属性,可以方便有效地提取出有价值的图像底层特征信息。基于以上两点,本文提出一种基于语义的视觉模式挖掘的新方法。实验结果表明,该方法充分利用了图像集合中的一致性信息和剪贴画的特有属性,能有效挖掘出特定语义概念的主要视觉模式。利用该方法挖掘出的视觉模式,不仅能用于提升图像聚类、浏览和检索的性能,同时也能应用于物体分类、检测、识别等领域。最后,本文研究搜索引擎返回的原始图像的重排序问题,提出了一种基于视觉显著性和一致性的图像重排序算法。在Web图像搜索应用中,视觉一致性的图像在重排序时应给予更高的相关性分值。此外,从视觉角度出发,视觉显著的图像更能吸引人的注意。同时也观察到在搜索引擎返回结果的前几页中,视觉显著的图像更有可能与用户查询相关。从以上两点出发,本文提出一种新的基于随机游走的融合方法,将视觉显著性和一致性结合起来用于图像的重排序。实验结果表明,该算法能有效地提升搜索引擎的检索性能,将视觉上显著的且与查询主题密切相关的图像优先返回给用户。

论文目录

• 摘要
• ABSTRACT
• 缩略语表
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 图像挖掘技术研究现状
• 1.2.1 特定图像的挖掘研究
• 1.2.2 Web图像的挖掘研究
• 1.3 图像重排序技术研究现状
• 1.3.1 基于图的方法
• 1.3.2 基于分类的方法
• 1.4 主要研究内容和创新成果
• 1.4.1 主要研究内容
• 1.4.2 创新成果
• 第二章 图像数据挖掘基础
• 2.1 引言
• 2.2 图像挖掘的定义和特点
• 2.3 图像挖掘模型
• 2.3.1 功能驱动模型
• 2.3.2 信息驱动模型
• 2.4 图像挖掘相关技术
• 2.4.1 图像特征提取
• 2.4.2 图像分类
• 2.4.3 图像聚类
• 2.4.4 图像相似性搜索
• 2.5 本章小结
• 第三章 基于显著性的视觉模式挖掘
• 3.1 引言
• 3.2 视觉选择性注意模型
• 3.2.1 自底向上的注意模型
• 3.2.2 自顶向下的注意模型
• 3.2.3 自底向上和自顶向下相结合
• 3.3 基于统计学习的视觉显著性模型
• 3.3.1 显著图与非显著图
• 3.3.2 多尺度相关性
• 3.3.3 图像特征描述
• 3.3.4 分类器实现
• 3.3.5 相关性值计算
• 3.4 客观性评估实验
• 3.4.1 实验图像集
• 3.4.2 实验结果与讨论
• 3.5 主观性眼动实验
• 3.5.1 实验环境
• 3.5.2 实验结果
• 3.6 本章小结
• 第四章 基于语义的视觉模式挖掘
• 4.1 引言
• 4.2 基于视觉一致性的模式挖掘方法
• 4.3 视觉一致性的度量
• 4.3.1 动态融合策略
• 4.3.2 特征描述
• 4.4 无监督的视觉模式挖掘
• 4.4.1 算法框架
• 4.4.2 特征密度估计方法
• 4.5 实验结果
• 4.5.1 数据集和评估方法
• 4.5.2 实验结果和分析
• 4.6 本章小结
• 第五章 基于显著性和一致性的图像重排序
• 5.1 引言
• 5.2 显著性和一致性的融合方法
• 5.2.1 算法框架
• 5.2.2 基于随机游走的融合方法
• 5.2.3 图像特征描述
• 5.3 实验结果和讨论
• 5.3.1 评估方法
• 5.3.2 实验结果
• 5.3.3 分析与讨论
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 全文工作总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的论文
• 附件