潜在语义分析在跨语言信息检索中的应用研究

论文摘要

随着英特网的发展,人们越来越多的面临怎样有效地查找相关外语文件的问题。在互联网发展初期,网络内容以英文为主,上网用户也多来自美、英等发达国家,但此后,来自其他国家的网站和用户数逐渐增加,给传统的以英语为唯一语言的信息检索技术带来新的问题。为此研究直接用用户的母语进行信息检索成为必要,进而研究双语言或多语言的跨（交叉）语言信息检索也成为一个热门的话题。跨语言信息检索研究的是基于一种自然语言构造的查询搜索任意语言文档的方法,因为单一语言信息检索的研究已经比较成熟,而且已经实用化,因此目前跨语言信息检索技术的基本框架都是从单语言信息检索继承发展而来。但由于不同的语言背后隐藏着差别很大的文化背景和人文习惯,机器翻译的效果至今不能满足人们的要求,所以仅仅依靠单语言检索的方法不能满足解决跨语言信息检索中的语义匹配等深层次问题。本文首先介绍了跨语言信息检索的研究内容和相关技术及其国际评测标准,接着分析了潜在语义分析的原理和建模方法以及相关的应用。然后根据潜在语义分析的语言无关性等特点,用其分析双语文本,建立词语翻译模型,并引入双向翻译思想,提高翻译准确率。随后针对传统跨语言信息检索中查询扩展方法的缺陷,结合k-means聚类和潜在语义分析模型对文本和词语表示的优势,提出一种新的扩展方法,减轻翻译出错或翻译歧义对查询结果的影响,最后更新了传统的查询词权重计算公式,提高了检索的平均准确率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 跨语言信息检索的研究现状
• 1.3 论文的主要研究内容
• 1.4 论文的结构
• 第二章 跨语言信息检索技术
• 2.1 检索模型
• 2.1.1 布尔模型
• 2.1.2 向量空间模型
• 2.1.3 概率模型
• 2.2 语种转化方法
• 2.2.1 提问式翻译方法
• 2.2.2 文献翻译方法
• 2.2.3 中间语种翻译方法
• 2.3 评测标准
• 2.3.1 信息检索系统的评价
• 2.3.2 相关国际会议
• 2.4 跨语言信息检索的应用
• 2.5 本章小结
• 第三章 潜在语义分析
• 3.1 潜在语义分析的基本思想
• 3.2 潜在语义分析的实现
• 3.2.1 奇异值分解法
• 3.2.2 基于概率的构造法
• 3.2.3 其他构造法
• 3.3 潜在语义分析的特点
• 3.3.1 潜在语义分析的优点
• 3.3.2 潜在语义分析的不足
• 3.4 潜在语义分析的应用
• 3.5 本章小结
• 第四章 基于潜在语义分析的双向翻译模型
• 4.1 翻译策略的研究
• 4.1.1 基于词典的策略
• 4.1.2 基于语料库的策略
• 4.1.3 词的歧义研究
• 4.2 双向翻译思想
• 4.3 模型实现的基本步骤
• 4.3.1 双语空间的建立
• 4.3.2 排歧义翻译
• 4.3.3 实现技术
• 4.4 实验结果及分析
• 4.5 本章小结
• 第五章 基于潜在语义分析的跨语言查询扩展方法
• 5.1 查询扩展技术
• 5.1.1 单语言查询扩展技术
• 5.1.2 跨语言信息检索中的查询扩展
• 5.2 方法具体实现步骤
• 5.2.1 双语空间的建立
• 5.2.2 同义词扩展
• 5.2.3 聚类求扩展文本集合
• 5.2.4 计算目标语种扩展词
• 5.2.5 补充翻译
• 5.2.6 权重计算
• 5.3 实验设计和结果分析
• 5.3.1 数据集和测评方法
• 5.3.2 扩展规模
• 5.3.3 实验结果及分析
• 5.4 本章小结
• 第六章 总结
• 6.1 本文的主要工作
• 6.2 本文的主要贡献
• 6.3 下一步工作
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文