基于语义绑定的分层视觉词汇库的图像理解算法研究

论文摘要

随着互联网科技和多媒体技术的不断发展,数字图像的应用已经渗透到社会生活的方方面面。同时计算机科学也在飞速的发展,硬件设备和软件设备在功能和性能方面不断地进步和创新。在这样的背景下,近年来图像理解问题成为了计算机视觉领域中的研究热点之一。所谓图像理解是指通过设计和实现相关模型和算法,并基于计算机的运算对输入的图像的图像语义和图像内容进行识别,从而让计算机像人类视觉一样能够明白图像所传递和表达的意思。图像理解研究的应用领域相当广泛,在医学医疗,安全控制,军事科技等领域都能见其身影,但是由于应用需求和应用范围的不断深入和拓宽,图像理解这一研究领域正在受到更加多的关注。本文在总结分析了近年来国内外对于图像理解研究领域的相关研究成果后,首先提出了分层语义模型的概念。分层语义模型通过对于语义空间中所涉及的图像语义的分析,能够将语义空间中的图像语义构建成具有上下层关联的语义模型。论文在提出分层语义模型的同时,还给出了对于图像语义相互联系和自身属性的定义。在提出了分层语义模型的概念基础上,本文继而提出了语义绑定的分层视觉词汇库的概念,并阐述了其构建的方法和讨论了相关细节问题。语义绑定的分层视觉词汇库是在分层语义模型的模板上而建立起来的基于SIFT（Scale-Invariant Feature Transform）图像特征的视觉词汇库,它是由具有分层结构的若干子词汇库组合而成,每一个子词汇库都与一个特定的图像语义相绑定。本文在提出语义绑定的分层视觉词汇库之后会给出其与传统BOVW（Bag Of Visual Words）所产生的视觉词汇库的比较分析。本文最后把分层语义模型和语义绑定的分层视觉词汇库理论应用到两个具体的图像理解问题中去:1)基于语义的图像内容识别问题研究;2)基于内容的图像检索问题研究。本文将会具体阐述通过本文提出的模型算法生成解决上述两类研究问题的解决方案。同时本文还将通过基于上述两类研究问题的仿真实验,以及同传统算法模型性能的比较来充分说明本文提出的模型算法的创新性和有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 背景介绍
• 1.2 相关研究工作
• 1.2.1 图像理解的三大研究方法
• 1.2.2 图像全局特征的研究
• 1.2.3 图像局部特征的研究
• 1.2.4 图像特征的应用研究
• 1.2.5 图像语义方面的研究
• 1.3 论文的创新和改进
• 1.4 论文组织结构
• 第二章 相关基础理论介绍
• 2.1 SIFT 特征的提取和描述
• 2.2 无监督聚类
• 2.2.1 聚类概念和过程
• 2.2.2 聚类算法类别
• 2.3 距离测度学习
• 2.4 机器学习与支持向量机
• 2.4.1 机器学习的原理
• 2.4.2 支持向量机解决的两类问题
• 第三章 分层语义模型
• 3.1 语义属性和关系
• 3.1.1 图像语义的概述
• 3.1.2 语义属性和语义关系的若干定义
• 3.2 分层语义模型的构建
• 3.2.1 分层语义模型概述
• 3.2.2 分层语义模型的构建方法
• 3.3 分层语义模型的扩展
• 3.4 本章小结
• 第四章 语义绑定的分层视觉词汇库
• 4.1 词汇库的构建
• 4.2 词汇库细节问题讨论
• 4.2.1 语义绑定分层视觉词汇库中各结点子词汇库的尺寸的确定
• 4.2.2 语义绑定分层视觉词汇库中词汇权重确定
• 4.2.3 上层语义绑定的词汇库中特征向量“爆炸”问题
• 4.3 词汇库与传统BOVW 模型的理论比较
• 4.4 本章小结
• 第五章 语义绑定的分层视觉词汇库的两种应用
• 5.1 基于语义的图像内容识别问题
• 5.1.1 训练语义绑定的分层视觉词汇库
• 5.1.2 利用语义绑定的分层视觉词汇库分类识别图像语义
• 5.2 基于内容的图像检索问题
• 5.2.1 建立基于语义绑定的分层视觉词汇库的图像检索系统
• 5.2.2 基于三种方式的图像检索
• 5.3 本章小结
• 第六章 仿真实验
• 6.1 实验数据来源
• 6.2 实验过程及相关设置
• 6.2.1 仿真实验基于的分层语义模型
• 6.2.2 仿真实验所用分层视觉词汇库的构建
• 6.2.3 基于语义的图像内容分类识别问题的仿真实验过程介绍
• 6.2.4 基于内容的图像检索问题仿真实验过程介绍
• 6.3 实验结果数据分析
• 6.3.1 基于语义的图像内容识别问题仿真实验结果数据分析
• 6.3.2 基于内容的图像检索问题仿真实验结果数据分析
• 6.4 实验小结
• 第七章 总结和展望
• 7.1 论文总结
• 7.2 工作展望
• 缩略语
• 参考文献
• 致谢
• 攻读硕士学位期间发表或录用的论文
• 攻读硕士学位期间参加的课题与项目