基于潜在语义分析的智能搜索技术研究

论文摘要

近年来互联网飞速发展,已经发展成为包含多种信息资源、站点遍布全球的巨大动态信息服务网络,为用户提供了一个极具价值的信息源。搜索引擎为用户提供了友好的检索接口,能帮助人们从浩瀚的数据中抽取出对用户有用的信息,能极大地节省用户的查询时间。互联网上绝大多数的信息是以文本的形式保存的,互联网上文本信息的指数级增长给搜索引擎技术带来了巨大的挑战,人们越来越难以快速准确地从网上搜索到相关信息。由于自然语言中多词同义、一词多义等不确定性因素存在,相同概念可以有多种不同的表述方式。传统的基于关键词字符匹配的搜索引擎中,参与匹配的只有外在的表现形式,而非它们所表达的全部概念,用户很难简单地用关键词或关键词串来真实地表达真正需要查询的内容。把搜索引擎技术从关键词匹配的层面提高到语义的层面,从语义意义上智能地认知和处理用户的查询请求成为当前搜索引擎技术的研究热点。本文从智能搜索建模的角度出发结合潜在语义分析技术,研究了搜索引擎中文档处理、查询处理以及最后的信息匹配处理。在此基础上,对潜在语义空间中权值从概率角度进行了分析与改进,使其更能体现出文档间、文档与词汇间的语义关系;对用户查询进行语义扩展,补充了用户输入信息不足或与索引词汇不匹配的问题;对用户搜索结果不理想进行调整,提出二次搜索的策略改善搜索结果使其更贴近用户要求。最后文本设计并实现了基于潜在语义分析的智能搜索系统验证了算法可以在一定程度上搜索引擎对语义的理解,并获得较高的准确率与查准率。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景及意义
• 1.2 国内外研究现状
• 1.3 研究内容及论文结构
• 第2章 智能搜索相关技术
• 2.1 智能搜索技术
• 2.2 信息检索模型
• 2.3 潜在语义分析模型
• 2.3.1 潜在语义分析的基本思想
• 2.3.2 奇异值分解
• 2.3.3 潜在语义分析模型示例
• 2.4 本章小结
• 第3章 智能搜索系统建模
• 3.1 智能搜索系统建模概述
• 3.2 文档处理模块
• 3.2.1 文档分词与词性标注
• 3.2.2 文档关键词选取
• 3.2.3 词汇-文档矩阵生成
• 3.2.4 索引生成
• 3.3 查询处理模块
• 3.3.1 查询分词与关键词选取
• 3.3.2 查询扩展
• 3.3.3 查询向量生成
• 3.4 匹配处理模块
• 3.4.1 词汇-文档矩阵的更新
• 3.4.2 相似性度量
• 3.4.3 二次搜索
• 3.5 本章小结
• 第4章 基于潜在语义分析的算法
• 4.1 潜在语义空间中权重计算方法
• 4.1.1 潜在语义空间权值计算方法
• 4.1.2 概率权值法
• 4.2 潜在语义空间的构造
• 4.3 基于语义的查询扩展算法
• 4.3.1 词汇间相关性的计算
• 4.3.2 基于查询内容的扩展词选取策略
• 4.3.3 扩展词的权值确定
• 4.4 二次搜索策略
• 4.5 本章小结
• 第5章 潜在语义分析系统实现与评价
• 5.1 LSA 搜索系统总体设计
• 5.2 LSA 搜索系统设计与实现
• 5.2.1 LSA 搜索系统文档集的选取
• 5.2.2 LSA 搜索系统的实现
• 5.3 实验结果与分析
• 5.3.1 概率权值法实验
• 5.3.2 查询扩展实验
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢