面向专题的信息搜索与过滤技术研究

论文摘要

随着互联网信息技术的迅速发展,大约每天就有2000万的新网页诞生,且很多网页的信息熵不高,导致通用搜索引擎的信息覆盖率和检索精度都在迅速下降,因此发展面向专题的信息搜索与收集工具就成为趋势。本文研究的面向专题的Web信息收集与过滤技术是这类工具的核心,围绕专题信息的特点,设计了一套个性化的专题信息查询表现、专题信息查询和专题信息过滤和收集方法,以适应专业用户信息收集的需要,提高信息收集的相关度和收集效率。文中重点对查询请求的提交和表现,以及信息的搜索与过滤策略做了研究。本文以国家863高技术项目现实需求为背景,主要工作和研究内容如下:(1)个性化的查询表现技术,使用户不再为向系统提供简单有限的特征词而烦恼,可以帮助用户更好的表达个人的兴趣专题,定制专题知识库。同时,在信息过滤过程中,专题知识库也为文本过滤提供了匹配基向量。(2)提出基于专题的扩展查询技术,克服了有限个专题特征词的限制,使信息搜索过程中,查询关键词与文本特征不拘泥于形式上的“强吻合”,解决了搜索中存在的“漏搜”现象,最大限度的提高了搜索的查全率。(3)研究了检索中基于深度控制的链接过滤方法和下载控制方法,辅助新的相关信息资源的发现,使用户可以对下载的信息量进行间接的控制,搜集到相关度更大的专题信息。(4)改进了基于内容的文本过滤和基于链接结构相结合的过滤策略,有效的改善了检索中的主题“漂移”和搜索精度不高问题,提高了信息的下载精度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题的依据及课题来源
• 1.2 国内外研究现状
• 1.2.1 搜索工具的体系结构研究现状
• 1.2.2 搜索的人机交互技术研究现状
• 1.2.3 搜索过滤技术的国内外研究现状
• 1.3 本文的主要研究内容
• 1.4 论文的结构
• 第二章 信息搜索与过滤的关键技术及系统的体系结构研究
• 2.1 信息搜索与过滤的相关问题
• 2.1.1 搜索过滤技术的分类
• 2.1.2 基于关键词的查询简介
• 2.1.3 主题页面在Web 上的分布特征
• 2.2 系统的关键技术
• 2.3 专题信息收集与过滤系统的体系结构
• 第三章 搜索系统的人机交互设计
• 3.1 搜索的人机交互相关因素
• 3.1.1 个性化的人机接口
• 3.1.2 主题的相关性
• 3.1.3 搜索请求问题
• 3.2 人机接口
• 3.3 搜索请求问题的实现技术
• 3.3.1 基于专题（Topic-based）的扩展查询
• 3.3.2 概念之间的关系判定
• 3.3.3 扩展查询的实现
• 3.4 查询问题的实现技术
• 3.4.1 HTML 网页的解析
• 3.4.2 查询向量的建立
• 3.4.3 文档的相关度计算
• 第四章 搜索过滤技术研究
• 4.1 基于内容的文本过滤及分类技术
• 4.1.1 基于内容的过滤和聚类预处理
• 4.1.2 匹配阈值的选取
• 4.2 深度控制技术
• 4.2.1 深度控制的实现算法
• 4.2.2 宽度优先搜索可达搜索判断法
• 4.3 基于链接分析的搜索过滤技术
• 4.3.1 基于链接过滤的指标算法
• 4.3.2 链接评价计算模型
• 第五章 实验过程与结果分析
• 5.1 专题信息搜索与过滤系统实现与工作过程
• 5.2 实验评价指标
• 5.3 实验与结果分析
• 5.3.1 实验专题定制
• 5.3.2 实验结果与分析
• 5.3.3 系统的整体操作性评价
• 第六章 结论及展望
• 6.1 本文的主要研究工作
• 6.2 今后的工作
• 致谢
• 参考文献表
• 附录A 作者发表的论文
• 附录B 作者参加的科研项目