主题搜索引擎关键技术研究

论文摘要

随着Internet近期的高速发展，web上的信息资源已经达到ZB级。面对如此海量数据资源，如何快速、有效获取主体化的专业知识和信息资源成为一个难题，而此时搜索引擎的出现解决了信息迷失问题。但目前存在的通用搜索引擎对于信息需求集中、主题明确的行业客户缺乏导向。近期，出现了针对具体领域信息完全收录和及时更新的主题搜索引擎。本文对国内外主题搜索引擎技术的发展和主题搜索引擎的现状进行分析，并对搜索引擎的工作原理和两大主题搜索技术：内容过滤和信息提取进行了详细介绍。重点研究了网页抓取时如何通过URL和内容两方面进行主题过滤，对PageRank算法进行深入研究，结合向量空间算法提出更有针对性的主题过滤方法并通过研究如何将过滤后的网页进行信息提取，提出主题信息抽取的方法。本文基于开源搜索引擎Nutch，将人工智能、信息提取、数据挖掘等研究领域知识有机结合，并对PageRank、空间向量算法进行结合和改进，通过HTML结构抽取与本体信息抽取相结合的方式，利用J2EE技术进行二次开发，搭建主题过滤和信息抽取模块，构建主题搜索引擎架构。本文最后对未来工作进行了展望，指出在主题过滤算法、过滤精度以及过滤速度和精度需要进一步优化。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究的背景和意义
• 1.1.1 研究的背景
• 1.1.2 研究的意义
• 1.2 国内外研究的现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.2.3 存在的问题
• 1.3 论文结构
• 第二章 主题搜索引擎综述
• 2.1 搜索引擎的发展
• 2.2 搜索引擎工作原理
• 2.3 存在的问题
• 2.4 主题搜索引擎定义
• 2.5 主题搜索引擎的特点
• 2.6 主题搜索引擎的关键技术
• 2.6.1 主题过滤技术介绍
• 2.6.2 信息抽取技术介绍
• 2.7 本章小结
• 第三章 面向主题的过滤技术
• 3.1 基于URL 的主题过滤技术
• 3.1.1 目前存在的基于URL 的主题过滤算法
• 3.1.2 改进的面向主题的URL 主题过滤算法
• 3.2 基于内容的主题过滤技术
• 3.2.1 目前存在的基于内容的主题过滤技术
• 3.2.2 改进的面向主题的内容过滤算法
• 3.3 改进的面向主题的过滤算法
• 3.4 本章小结
• 第四章 面向主题的信息抽取技术
• 4.1 信息抽取
• 4.1.1 信息抽取的特点
• 4.1.2 Web 信息抽取
• 4.2 改进的面向主题的信息抽取
• 4.3 本章小结
• 第五章 主题搜索引擎系统的设计与实现
• 5.1 其他主题搜索引擎系统
• 5.2 设计目标
• 5.3 系统的总体设计
• 5.4 系统实现的关键技术：
• 5.4.1 Nutch 搜索引擎框架
• 5.4.2 Struts、Spring、Hibernate 技术整合
• 5.5 主题搜索引擎系统的实现
• 5.5.1 开发环境与工具
• 5.5.2 主题过滤模块的实现
• 5.5.3 主题信息抽取模块的实现
• 5.5.4 基于Nutch 结合SSH 技术搭建主题搜索引擎
• 5.5.5 主题搜索引擎数据库的设计
• 5.6 主题信息结构化抽取效果
• 5.7 本章小结
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表或录用的论文