跨模态信息检索方法的研究与实现

论文摘要

随着互联网的发展,人类社会已经进入到信息时代,用户对信息的需求越来越强。个人用户,公司,团体都迫切从网络上获取数据,传统的信息检索都是基于关键字的匹配或者是单一模式进行的,即文本的检索就只针对文本,图像的检索就只针对图像,而这已经不能满足日益增长的需要,现在互联网已经是一个文本和图像等多个模态数据并行的时代,单一的模式已经完全不能胜任昔日的需求,因此需要一种新的检索模式,跨模态信息检索的出现正是应允了这一需求的变化。从单一的文本检索或者单一的图像检索转换到图像和文本两种模态形式的检索,从而丰富了信息检索领域中检索的内容。本文主要讲述了具体的跨模态的信息检索的方法,包括文本和图像的预处理,文本和图像的抽象的向量表示,搭建异构网络的方法,怎么使用LDA算法来对文本进行建模,怎么使用SIFT算法来对图像进行表示,同时也将Random Walk算法运用到跨模态的检索中,最后针对具体的结果提出一些存在的问题和可行性的设想。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 国内外研究现状
• 1.3 论文的组织结构
• 第二章 核心算法介绍
• 2.1 LDA算法
• 2.1.1 LDA的基本原理
• 2.1.2 用Gibbs采样学习LDA
• 2.2 SIFT算法
• 2.2.1 SIFT算子的基本特征
• 2.2.2 提取SIFT特征点
• 2.3 Random Walk算法
• 2.4 CCA算法
• 2.4.1 CCA算法的主要目的
• 2.4.2 CCA算法的表示与求解
• 第三章 概要设计
• 3.1 系统架构图
• 3.1.1 异构网络的模型
• 3.1.2 训练样本的表示形式
• 第四章 详细设计
• 4.1 LDA从文本中提取topic
• 4.2 SIFT提取图像特征点
• 4.3 CCA构建异构网络
• 4.3.1 图像或文本网络的搭建
• 4.3.2 图像到文本的网络
• 4.4 待查节点与异构网络的合
• 4.5 使用Random Walk重新训练网络
• 第五章 接口调用
• 5.1 文本到图像
• 5.2 图像到文本
• 5.3 文本到文本的查询
• 5.4 图像到图像的查询
• 第六章 总结和展望
• 6. 本文的主要工作
• 6.2 本系统的主要不足
• 6.3 下一步的工作
• 参考文献
• 致谢