按例和按绘的图像检索研究

论文摘要

随着多媒体技术和互联网技术的飞速发展,图像数据库的规模越来越大。如何从海量的图像中快速、有效地查找出人们感兴趣的图像成为亟待解决的难题。在这样的背景下,基于内容的图像检索技术受到广泛的重视,并成为多媒体信息处理领域的一个研究热点。基于内容的图像检索系统通常通过计算图像间的相似度来完成检索任务。虽然取得了一些成功,但大多数系统的检索效果不令人满意。与人类主要根据图像语义来判断图像间是否相似的做法不同,现今的图像检索系统过分依赖于底层图像特征,这就导致了所谓的语义鸿沟问题,使系统很难对底层图像特征相似的图像进行区分。因此,如何由图像自动获取符合用户检索意图的图像语义是解决图像/视频检索问题的关键。本文主要研究图像语义和用户语义的自动获取问题,主要内容如下:首先,对图像检索问题的研究背景和意义做简要介绍,并对图像/视频索引和检索中的若干重要问题进行综述。接着,提出了一种从输入图像中提取语义对象的方法——剥壳算法。该算法先将一种基于图像Luv色彩统计直方图的快速颜色带宽估计算法和自适应Mean Shift算法相结合实现对输入图像的初始分割;再用一种新的背景区域剥离算法通过逐步剥离背景区域达到从图像中提取语义对象的目的。该算法在执行过程中无需用户的介入,是一种高效的无监督语义对象提取算法。实验结果表明,对于主体基本位于图像中的语义对象,该算法有较好的提取效果。然后,提出了一种基于规范化形状特征描述的手绘草图检索方法。该方法先采用一种基于傅里叶变换的降维滤波方法对检索对象进行规范化处理,并在此基础上提取对象的轮廓和区域特征,然后采用一种仿射变换自适应骨架提取算法提取对象骨架、得到对象的骨架树特征描述,最后利用一种骨架树匹配算法,结合对象的轮廓、区域和骨架特征实现基于草图的图像检索。该方法不仅利用了对象的外轮廓信息和内部区域信息,还利用了用骨架表达的形状和拓扑信息。实验结果表明,该方法对二维仿射变换(平移、缩放、旋转)有很强的适应性,对噪声也有较强的鲁棒性。最后,针对图像低层特征和高层语义之间存在的语义鸿沟问题,提出了一种结合草图查询和相关反馈的语义对象图像检索系统。该系统先根据用户输入的手绘草图,利用形状(轮廓、区域和骨架)特征从对象库中初步检索出语义对象并保存其区域组合;再根据用户选择的反馈对象并结合查询草图提取用户检索对象的语义特征(形状、区域及拓扑特征),最后采用寻找最优区域配对的方法在系统特征库中进行检索。该系统也可以直接由用户选择对象库中的对象图像作为查询示例在系统数据库中进行检索。实验结果表明,本文方法不但对用户需求的语义对象有较好的检索效果,具有较好的查准率和查全率,而且还能较准确地在结果图像中框选出用户感兴趣的语义对象。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景与意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 论文主要工作及组织结构
• 1.2.1 论文主要工作
• 1.2.2 论文组织结构
• 第2章 基于内容的图像检索技术回顾
• 2.1 视觉信息检索
• 2.2 图像检索
• 2.2.1 基于属性的检索
• 2.2.2 基于注释的检索
• 2.2.3 基于目标识别的检索
• 2.2.4 基于低层特征的检索
• 2.3 基于内容的图像检索
• 2.3.1 像素域技术
• 2.3.2 压缩域技术
• 2.4 图像检索中的语义和相关反馈
• 2.4.1 图像语义表示
• 2.4.2 图像语义提取
• 2.4.3 相关反馈技术
• 2.5 图像检索的其它共性问题
• 2.5.1 相似性度量
• 2.5.2 检索性能评价
• 2.5.3 查询方式
• 2.6 主要检索系统
• 2.7 本章小结
• 第3章 图像分割
• 3.1 图像分割方法介绍
• 3.2 Mean shift 方法简介
• 3.3 基于自适应颜色带宽估计的 Mean Shift 图像分割算法
• 3.3.1 颜色空间选择
• 3.3.2 颜色带宽设定
• 3.3.3 图像分割算法
• 3.4 基于动态阈值的区域合并
• 3.4.1 区域特征提取
• 3.4.2 区域合并方法
• 3.5 实验结果
• 3.6 本章小结
• 第4章 语义对象提取
• 4.1 引言
• 4.2 基于背景区域剥离的语义对象提取
• 4.2.1 区域基本信息提取
• 4.2.2 背景区域剥离算法——“剥壳算法”
• 4.2.3 执行过程
• 4.3 实验结果与分析
• 4.4 本章小结
• 第5章 基于规范化形状的手绘草图检索
• 5.1 引言
• 5.2 形状描述符
• 5.2.1 对象规范化
• 5.2.2 轮廓描述符的构造
• 5.2.3 区域描述符的构造
• 5.3 骨架描述符
• 5.3.1 骨架基元定义
• 5.3.2 仿射变换自适应骨架提取算法
• 5.3.3 骨架描述子生成
• 5.3.4 骨架相似性度量
• 5.4 手绘草图检索
• 5.4.1 草图预处理
• 5.4.2 相似性度量
• 5.4.3 实验结果与分析
• 5.5 本章小结
• 第6章 语义对象图像检索
• 6.1 引言
• 6.2 系统概述
• 6.3 特征提取
• 6.3.1 形状特征提取
• 6.3.2 图像区域特征提取
• 6.3.3 对象特征提取
• 6.4 图像检索方法
• 6.4.1 初步对象检索
• 6.4.2 加入相关反馈的图像检索
• 6.5 实验结果及评价
• 6.5.1 手绘草图作为查询
• 6.5.2 对象图像作为查询
• 6.5.3 圈选区域作为查询
• 6.5.4 结果评价
• 6.6 本章小结
• 第7章 总结与展望
• 7.1 论文总结
• 7.2 未来工作
• 参考文献
• 致谢
• 在读期间发表的学术论文与取得的研究成果