基于文本和视觉信息融合的Web图像检索

论文摘要

随着数码技术、扫描技术和Internet的迅速发展,Web图像资源日益丰富。但由于Web数据具有多样性、复杂性和无规则性等特点,如何快速、准确地从海量Web资源中查找用户感兴趣的图像成为一个非常具有挑战性的任务。Web图像检索通过合理地组织Web图像资源,并研究高效的查询和检索方法以达到充分利用Web图像资源的目的。目前主流的Web图像检索方法大致可以分为两大类,即基于关键词的图像检索(TBIR)和基于内容的图像检索(CBIR)。Web图像主要包含两种类型的信息,一种是Web图像本身所包含的丰富的视觉信息,另一种是Web图像所在网页包含的丰富的文本信息。TBIR仅仅使用从文本信息中抽取的文本特征索引和检索图像,而CBIR仅仅使用从图像视觉信息中抽取的低层视觉特征索引和检索用户。显然,要较好地满足用户检索图像的需求,在Web图像检索过程中必须充分利用并融合上述两种不同类型的信息;此外,还需要为Web图像附加上包括图像内容的高层语义在内的各种信息,因为用户主要根据图像的高层语义特征判断图像满足自己的需要程度。但如何为Web图像附加语义信息,以及如何实现上述两种信息的融合直到今天依旧是图像检索领域中的研究难点。针对上述问题,本文首先提出了浅层语义处理技术一词汇相似性计算技术。词汇相似性计算是自然语言处理领域中语义处理的基础性研究之一,主要研究如何计算词汇之间的语义相似程度。本文的研究中将词汇相似性计算技术作为语义信息的度量手段,这使得存在于人类思维中的抽象语义信息具有了可计算性和可对比性,同时也进一步使得Web图像的文本信息和视觉信息(图像视觉信息被表示为高层语义特征,参考下文)的融合成为可能。其次,本文针对Web图像的低层视觉特征和高层语义特征之间的语义鸿沟问题,提出了一个Web图像自动加权标注模型:首先使用各种机器学习和统计技术学习从图像低层视觉特征到图像高层语义特征的映射模型;然后利用这个映射模型抽取图像的高层语义特征;最后根据Web图像文本信息和提取出的高层语义特征本身,使用词汇相似性计算技术度量抽取出的高层语义特征的质量。通过上述步骤可以将Web图像表示为带有权重的高层语义特征,同时也进一步将图像视觉信息和文本信息的融合转化为表达图像内容的高层语义特征和Web图像文本信息的融合。接着,针对Web图像包含的文本信息和从图像视觉信息中提取的高层语义特征,提出了一种具有可扩展性的Web图像检索模型。为了充分利用Web文档中的文本信息和从Web图像低层视觉特征中抽取的高层语义特征,该模型构架在贝叶斯推理网上,利用推理网内在的多信息源融合能力,将Web图像文本特征和Web图像的高层语义特征无缝地融合在一起实现Web图像检索。基于上述研究,本文设计并实现了一个Web图像检索原型系统,该系统充分利用Web图像的两类信息:从Web图像内容中提取高层语义特征,然后将它们与从Web图像文本信息中提取的文本特征融合在一起实现Web图像检索,研究结果验证了本文提出的模型在Web图像检索中的有效性。文章最后对本文的研究工作进行了总结和展望。

论文目录

• 致谢
• 摘要
• Abstract
• 第1章 绪论
• 1.1 引言
• 1.2 存在的问题及研究方向
• 1.3 本文研究成果
• 1.4 本文组织结构
• 第2章 图像检索综述
• 2.1 概述
• 2.2 基于文本信息的图像检索
• 2.3 基于图像内容的图像检索
• 2.3.1 图像低层视觉特征
• 2.3.2 图像相似性计算方法
• 2.3.3 典型的CBIR系统
• 2.4 语义图像检索
• 2.4.1 基于知识的语义抽取
• 2.4.2 系统交互式语义生成
• 2.4.3 基于外部信息的语义提取
• 2.4.4 图像内容描述的国际标准MPEG-7
• 2.5 综合文本信息和图像视觉信息的Web图像检索
• 2.6 小结
• 第3章 基于文本和视觉信息融合的Web图像检索模型
• 3.1 概述
• 3.2 Web图像语义检索模型介绍
• 3.2.1 语义知识库
• 3.2.2 Web图像文本特征和语义特征的融合
• 3.2.3 Web图像文本特征
• 3.2.4 Web图像内容高层语义特征
• 3.3 本章小结
• 第4章 词汇相似性计算
• 4.1 背景
• 4.1.1 词汇相似性介绍
• 4.1.2 词汇相似性计算研究现状
• 4.1.3 基于WordNet和基于语料库的词汇相似性计算方法对比
• 4.2 基于Web检索的语义相似性计算
• 4.2.1 CODC模型
• 4.2.2 修正的CODC模型
• 4.3 Snippet分类
• 4.3.1 Snippet分类特点
• 4.3.2 支持向量机（SVM）
• 4.3.3 加权特征模型
• 4.3.4 训练库自动构建
• 4.4 实验
• 4.4.1 实验数据
• 4.4.2 实验结果和讨论
• 4.5 本章小结
• 第5章 Web图像自动加权标注模型
• 5.1 概述
• 5.1.1 图像自动标注定义
• 5.1.2 图像自动标注技术研究现状
• 5.2 图像分割
• 5.3 图像视觉特征
• 5.3.1 颜色特征
• 5.3.2 纹理特征
• 5.3.3 形状特征
• 5.4 图像加权标注模型（IWAM）
• 5.4.1 标注模型框架介绍
• 5.4.2 TM模型
• 5.4.3 NCRM模型
• 5.4.4 MBRM模型
• 5.4.5 HMAM模型
• 5.4.6 NFM模型
• 5.5 实验
• 5.5.1 实验数据
• 5.5.2 实验安装
• 5.5.3 实验内容与结果讨论
• 5.6 本章小结
• 第6章 基于推理网的Web图像检索
• 6.1 概述
• 6.2 Web图像检索系统
• 6.2.1 Web图像检索系统设计
• 6.2.2 检索模型框架介绍
• 6.2.3 Web图像文本特征
• 6.2.4 Web图像高层语义特征
• 6.2.5 贝叶斯推理网模型
• 6.2.6 基于贝叶斯推理网的Web图像语义检索模型
• 6.3 实验
• 6.3.1 实验内容和模型
• 6.3.2 实验数据
• 6.3.3 实验结果与讨论
• 6.4 本章小结
• 第7章 总结和展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 攻读博士学位期间主要的研究成果
• 学术论文
• 发明专利
• 软件著作权
• 科研项目
• 作者简历