基于中间语义的跨语言信息检索研究

论文摘要

随着国际互联网的快速发展,Internet上信息资源类型和数量都愈来愈丰富,所使用的语言亦愈来愈具有多样性和不平衡性;同时随着网络用户数量与范围的急剧膨胀,其所掌握的语言也开始呈现多样化。由于网络资源语种的多样性和网络用户所掌握语言的差异性不可避免地给人们利用网络检索信息带来了语言障碍,例如网络中65 %以上的信息都是英语信息,而使用英文的网络用户仅占约30 % ,这给非英语国家用户利用网络信息带来了极大的不便。不仅在互联网中,在所有同时存在多语种的信息系统（如数字图书馆）中,这种语言障碍都限制了人们对信息的有效获取,影响了多语种信息价值的充分发挥。从上世纪90年代末开始,人们对信息检索提出了更高的要求,即不再满足于在同一语种中进行检索,而要求在检索结果中包含多种语种的相关信息。为解决人们在从多语种信息系统中获取信息的过程中存在的语言障碍问题,研究学者提出了使用一种语言即可以方便地检索出系统中存在的所有语种相关信息的方法和技术,称为跨语言信息检索（Cross-Language Information Retrieval ,CLIR）技术。基于辞典的模式和机器系统翻译的技术一度成为人们进行跨语言信息检索的热点研究技术。基于辞典的模式就是采用机读辞典来做翻译,这里主要的问题是词汇的歧义性,一个词汇可能有多重意义,因此产生类似一般机器翻译系统选词的问题。另一个问题是辞典本身的覆盖度不够,动态的专有名词如人名、地名、机构名称等日新月异,很有可能在翻译过程中在辞典中找不到。而机器系统的翻译主要是针对文档翻译进行的,文档翻译的缺点是执行效率不高,翻译往往不够确切。为解决上述问题,我们提出了一种基于偏最小二乘理论的中间语义的跨语言信息检索方法。实验结果显示,基于中间语义的跨语言信息检索方法具有良好的特性。本文的创新之处有:第一,利用改进的偏最小二乘理论技术,提出了基于中间语义的跨语言信息检索模型;第二,建立了一定的中英文平行语料库,为以后扩充中英文平行语料库打下来了一定的基础。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景
• 1.2 本文工作
• 1.3 论文组织
• 第二章 信息检索概述
• 2.1 信息检索简介
• 2.2 信息检索的基本流程
• 2.3 信息检索评价
• 2.3.1 检索精度和召回率
• 2.3.2 前n 选精度
• 2.3.3 11 点平均精度和3 点平均精度
• 2.3.4 F-measure 指标
• 2.3.5 P x R 指标
• 2.4 测试文档集
• 2.5 IR 模型：Boolean、VSM、PM、LM
• 2.5.1 布尔模型
• 2.5.2 向量空间模型
• 2.5.3 概率模型
• 2.5.4 语言模型
• 第三章 跨语言信息检索概述
• 3.1 跨语言信息检索概念
• 3.2 跨语言信息检索研究现状
• 3.3 跨语言信息检索常用方法
• 3.4 跨语言信息检索的关键技术
• 3.5 跨语言信息检索的基本构架
• 第四章 偏最小二乘理论
• 4.1 偏最小二乘回归
• 4.2 模型工作目标
• 4.3 计算方法推导
• 4.3.1 标准化处理
• 4.3.2 算法推导步骤一
• 4.3.3 算法推导步骤二
• 4.4 成分确定方法
• 第五章 基于中间语义的跨语言信息检索
• 5.1 基于中间语义的跨语言信息检索模型设计
• 5.2 模型原理
• 5.3 数学推导
• 5.4 中间语义对模型提取算法
• 5.5 基于中间语义的跨语言信息检索
• 第六章 实验设计和分析
• 6.1 实验设计
• 6.2 数据集
• 6.3 实验过程
• 6.4 实验结果及分析
• 第七章 总结
• 7.1 论文总结
• 7.2 未来工作展望
• 参考文献
• 致谢词