文本检索中若干问题研究

论文摘要

信息检索技术就是从信息的集合中识别和获取信息的技术，这种技术对人们的学习和科研有着重大意义，尤其是在互联网广泛应用的今天，信息数量激增，信息检索技术已经成为人们有效地开发和利用各种信息资源，更广泛、更快捷、更全面地吸收和获取信息的一条重要途径。本文的研究主要涉及文本检索中的文档处理、文本分类、查询优化等相关技术，主要成果包括： 1．文本分类中的特征选择 本文对常用的互信息函数进行了改进，引入了绝对可信度、相对可信度和综合可信度的概念，提出了基于互信息可信度的特征选择方法，该方法不仅考虑了某个词与某类的相关程度，还考虑了该词与各个类之间相关程度的差别，也就是与类别间互信息最大值的可信度，实验数据表明，相对于基本的互信息函数，基于互信息可信度的特征选择算法能够有效提高分类的准确率、召回率和F1值。此外，本文还提出对几种常规的评估函数进行归一化，或者基于这些常规评估函数进行局部特征选择，实验数据表明，归一化的特征选择和局部特征选择都或多或少地提高了系统的分类准确率。 2．多类判别问题 对于多类别文本的判别问题，通常需要对每个类别确定阈值，当文本与某类的相似度在该类的阈值之上，就将文本归于该类中。本文在多类判别问题的阈值确定方面进行了研究，提出了评估指标最大化阈值确定法，对任一类别，以最大化该类的分类评估值为准则，寻找该类的闽值。实验结果表明，该方法能够将部分多类样本正确分类，但是还需要进一步的研究。 3．查询优化 本文针对已有的带有衰减因子的词共现模型，提出了基于向量距离的改进互信息的查询扩展方法，将检索词在文档空间中的距离引入到互信息计算中，实验数据表明该算法能够有效提高信息检索系统的性能，此外，本文提出了可变权值的伪反馈算法，利用初次检索结果中前列文档与查询的相似度对Ide公式进行修改，实验数据证明该方法能够取得较好的反馈效果。 4．对文本图像的识别处理 本文研究了传统OCR技术中的相关内容，对经典滴水算法进行了改进，提出了一种惯性大水滴滴水算法，增大水滴的尺寸，并且使水滴具有了惯性，当它遇到连笔字符或者字符表面的凹槽时，不会像传

论文目录

• 第一章 绪论
• 1.1 选题意义
• 1.2 国内外研究现状
• 1.3 本文拟解决的问题
• 1.4 本文的创新点
• 1.5 本文内容安排
• 本章参考文献
• 第二章 信息检索的相关技术
• 2.1 引言
• 2.1.1 信息检索
• 2.1.2 本章内容安排
• 2.2 信息检索模型
• 2.2.1 布尔模型
• 2.2.2 概率模型
• 2.2.3 向量空间模型
• 2.3 信息检索系统
• 2.4 信息检索中的相关技术
• 2.4.1 中文信息检索的分词
• 2.4.2 索引建立
• 2.4.3 评价指标
• 2.5 本章小结
• 本章参考文献
• 第三章 文本分类技术研究
• 3.1 引言
• 3.1.1 方法提出背景
• 3.1.2 本章内容安排
• 3.2 文本分类
• 3.2.1 问题描述
• 3.2.2 相关技术概述
• 3.3 特征选择
• 3.3.1 常用的评价函数
• 3.3.2 基于互信息可信度的特征选择算法
• 3.3.3 归一化和局部的特征选择
• 3.4 特征抽取
• 3.4.1 词-文档矩阵
• 3.4.2 PCA和LDA介绍
• 3.4.3 实验结果
• 3.5 多类判别问题
• 3.5.1 问题提出
• 3.5.2 评估指标最大化阈值确定法
• 3.5.3 算法实现及实验结果
• 3.6 本章小结
• 本章参考文献
• 第四章 查询优化的相关研究
• 4.1 引言
• 4.1.1 方法提出背景
• 4.1.2 本章主要内容
• 4.2 查询扩展
• 4.2.1 问题描述
• 4.2.2 查询扩展方法
• 4.3 基于改进互信息的查询扩展
• 4.3.1 关键词与查询间的互信息
• 4.3.2 基于距离的互信息计算
• 4.3.3 关键词之间的距离计算
• 4.3.4 实验结果
• 4.4 查询语词重新加权
• 4.4.1 相关反馈
• 4.4.2 伪相关反馈
• 4.4.3 局部聚类相关反馈
• 4.4.4 可变权值的伪相关反馈
• 4.4.5 实验结果
• 4.5 本章小结
• 本章参考文献
• 第五章 文本图像检索的相关研究
• 5.1 引言
• 5.1.1 文本图像的检索
• 5.1.2 本章内容安排
• 5.2 传统的OCR技术
• 5.2.1 OCR技术的关键技术
• 5.2.2 图像二值化
• 5.2.3 手写数字切分算法
• 5.3 惯性大水滴滴水算法
• 5.3.1 TDF算法的数学描述
• 5.3.2 惯性滴水算法（IDF）
• 5.3.3 大水滴及惯性滴水算法（BIDF）
• 5.3.4 寻找切分起始点
• 5.3.5 实验结果
• 5.4 本章小结
• 本章参考文献
• 第六章 总结和展望
• 6.1 论文总结
• 6.2 未来工作展望
• 致谢
• 博士期间完成的主要论文