最优搜索理论与支持向量机在信息检索中的应用研究

论文摘要

随着网络技术的迅猛发展，网上的信息数量成指数级别增长，如何有效组织、检索、处理这些信息成为当前研究的重要课题。信息检索是指从海量文本信息中找到与给定信息需求想关的一定数量文档的过程。传统的信息检索，比较关注于检索结果的准确性等特性，对检索资源(如时间)的限制讨论的比较少。本文正是针对上述问题，提出了一种基于支持向量机的最优搜索模型，讨论了在资源受限制条件下的搜索策略。本文主要内容为：1．研究了分布式信息检索中的资源描述和资源选择方法。提出了一种新的基于支持向量机的最优搜索模型，同时考虑检索的资源限制和准确度问题。2．对文本分类的支持向量机与核函数方法进行了深入分析。以往的大多数研究，主要关注文本的向量空间模型表示法，对文本序列表示法的分类研究比较少。本文在字符串序列核函数与词序列核函数的基础上，提出了一种新的基于句子级别核函数，并给出两种可行算法，句集合核函数与旬序列核函数。3．研究了支持向量机软件包LIBSVM并加以改进。LIBSVM的CSharp2.6版，只支持基本的核函数计算：如线性核函数、多项式核函数、RBF核函数等，对于用户自定义的核函数还没有提供支持。而本文提出的核函数是基于句子级别的特定类型核函数，也会用到序列核函数的算法，所以必须要求软件包能够提供自定义核函数的功能。4．综合所有的研究成果，独立完成了一个文本分类及检索系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 信息检索相关技术的研究现状
• 1.2 本文研究内容
• 1.3 本文组织结构
• 第二章 最优搜索理论
• 2.1 最优搜索理论的历史回顾
• 2.2 静止目标最优搜索模型
• 2.2.1 Koopman的静止目标最优搜索模型
• 2.3 算法的实现
• 第三章 支持向量机与核函数
• 3.1 统计学习理论与支持向量机
• 3.1.1 支持向量机的理论基础
• 3.1.2 结构风险最小化原则
• 3.1.3 线性可分情形
• 3.1.4 线性不可分情形与软间隔
• 3.1.5 线性不可分情形与核函数
• 3.2 序列核函数
• 3.2.1 字符串核函数
• 3.2.2 词序列核函数
• 3.2.3 句子级别核函数
• 第四章 文本分类技术
• 4.1 文档表示
• 4.2 文本分类的定义
• 4.2.1 两分类问题
• 4.2.2 多类问题
• 4.2.3 多标记问题
• 4.3 特征重构
• 4.3.1 词干抽取（stemming）
• 4.3.2 项聚类
• 4.3.3 潜在语义标引
• 第五章 系统实现及关键技术
• 5.1 系统设计与实现
• 5.1.1 开发环境介绍
• 5.1.2 系统结构设计
• 5.1.3 系统界面设计
• 5.2 文档集的选择和描述
• 5.2.1 文档的处理
• 5.2.2 文档类的设计
• 5.3 句集合核函数和句序列核函数
• 5.3.1 句集合核函数模型与算法
• 5.3.2 句序列核函数
• 5.4 基于 SVM的最优搜索模型
• 5.5 对 LIBSVM软件包的改进
• 5.5.1 LIBSVM算法
• 5.5.2 对 LIBSVM源代码的改进
• 第六章 实验结果及数据分析
• 6.1 句集合核函数分类性能实验
• 6.2 基于最优搜索策略的检索实验
• 第七章 结论及展望
• 参考文献
• 攻硕期间取得的研究成果