主题搜索引擎的关键技术研究与实现

论文摘要

随着网络上信息量的极速增长,Web上出现了大量的重复信息和垃圾信息,用户感觉很难快速找到自己真正需要的信息,通用搜索引擎面临着信息采集规模、更新速度和专业化需求等多方面的挑战。面对这些挑战,针对特定主题和个性化信息检索的主题搜索引擎(vertical search engine or topical search engine)应运而生。基于主题网络爬虫的搜索引擎(即第四代搜索引擎)已经成为当前搜索引擎和Web信息挖掘中的一个研究热点和难点,本论文的研究就是以这一热点和难点技术而展开的。本文首先对通用搜索引擎的组成部分作了简单介绍,并细述了其工作原理。进而对主题搜索引擎的一些关键技术如主题网络爬虫、信息抽取、文本分类、网页排序等进行了详细的阐述。在探讨几种文本分类算法中,本文对贝叶斯分类算法进行了改进,鉴于网页中的一些HTML标记中的关键词能更好的反映一个页面的主题,在改进的算法中对这些词赋予了较大的权重系数,并通过实验与数据分析本文改进的贝叶斯分类算法在分类准确度上有了较大的提高。本文重点讨论了主题网络爬虫的搜索策略,分别论述了基于内容和基于链接的搜索策略。考虑到web页面上存在的主题孤岛问题,提出了一种新的基于内容和链接分析的URL搜索算法,可以使网络蜘蛛穿越隧道爬取更多的相关主题页面来解决主题孤岛问题,提高搜索引擎的主题资源覆盖率,同时可以较好的避免主题漂移现象。最后对本文提出的URL搜索算法进行了实验分析,以ODP分类目录索引作为实验环境,对广度优先搜索策略、最好优先搜索策略和本文提出的基于内容和链接分析的URL搜索策略进行了测评比较,结果表明本文提出的URL搜索算法在目标召回率标准方面得到了提高,使主题搜索引擎在保证查准率的基础上返回更多主题相关的页面。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 选题背景
• 1.2 通用搜索引擎概述
• 1.2.1 搜索引擎的分类
• 1.2.2 搜索引擎的结构及工作原理
• 1.3 主题搜索引擎技术
• 1.3.1 主题搜索引擎的定义
• 1.3.2 主题搜索引擎的研究现状
• 1.3.3 主题搜索引擎的优势
• 1.4 论文研究内容及组织结构
• 第2章 主题搜索引擎的理论基础及关键技术
• 2.1 主题网络爬虫
• 2.1.1 主题爬虫的工作原理
• 2.1.2 主题爬虫的结构
• 2.1.3 主题爬虫与普通爬虫的区别
• 2.1.4 网络爬虫的搜索策略概述
• 2.2 信息抽取技术
• 2.2.1 HTML基本语法分析
• 2.2.2 网页预处理
• 2.2.3 网页中信息资源的提取
• 2.3 文本分类技术
• 2.3.1 文本表示模型
• 2.3.2 特征项提取
• 2.3.3 分类算法
• 2.3.4 改进的Naive Bayes分类算法
• 2.3.5 实验与数据分析
• 2.4 网页排序算法
• 2.4.1 PageRank算法
• 2.4.2 HITS算法
• 2.4.3 PageRank算法和HITS算法的比较
• 2.5 本章小结
• 第3章 主题网络爬虫的搜索策略研究与设计
• 3.1 主题页面的分布特征
• 3.1.1 Hub/Authority特性
• 3.1.2 主题关联特性
• 3.1.3 主题聚集特性
• 3.1.4 主题孤岛特性
• 3.2 主题相关度预测
• 3.2.1 基于链接标记数据的预测
• 3.2.2 基于链接结构分析的预测
• 3.3 基于内容和链接分析的URL搜索策略
• 3.3.1 基于内容和链接分析的主题相关度预测
• 3.3.2 算法设计与实现
• 3.4 本章小结
• 第4章 实验的建立与结果
• 4.1 性能评价指标
• 4.2 算法的实验比较与分析
• 4.2.1 ODP
• 4.2.2 实验结果分析
• 4.3 本章小结
• 第5章 总结与展望
• 5.1 工作总结
• 5.2 工作展望
• 参考文献
• 致谢
• 附录:攻读硕士学位期间公开发表的论文