网页信息提取与净化的研究

论文摘要

信息提取是搜索引擎最关键的一个步骤,怎么样从互联网这个信息大平台最精确的获得有用信息已成为当前搜索引擎研究的热点。本文介绍了几种最新的信息提取方法,在此基础上提出了基于DOM树的正文提取方法。把底层HTML文档解析成为DOM树的形式,根据用户设置参数来设置过滤器,该过滤器对每一个节点进行判断,如果节点与用户设置参数匹配则对该节点进行记录、修改属性以及删除的操作。另外本文进一步提出了基于DOM树的网络噪声净化方法,针对同一模板产生的网页集自动检验出噪声存在的位置。该方法以DOM树节点为操作对象,计算出每个节点的信息量,通过信息量的大小来判断节点是否属于噪声。基于DOM树的正文提取方法简便可行。相对于本文所介绍的几种方法,DOM树的正文提取的侧重点是不同的,其他的提取方法都是通过讨论如何判断正文节点或者正文块实现内容过滤,本文则把提取的重点放在剔除对用户来说无用的节点上面,这是一个方向上的变化。

论文目录

• 内容提要
• 第一章 前言
• 1.1 研究意义
• 1.2 搜索引擎介绍
• 1.3 正文提取的重要性
• 1.4 小结
• 第二章 正文提取
• 2.1 正文提取的几种方法介绍
• 2.2 基于DOM 树的正文提取
• 2.3 正文提取器功能介绍
• 2.4 正文提取器实现
• 2.5 结果分析
• 2.6 小结
• 第三章 网页净化噪声
• 3.1 网页噪声净化的几种常用方法
• 3.2 基于DOM 树的网页噪声净化
• 3.3 数据分析
• 3.3 小结
• 第四章 网页分类
• 4.1 文本分类介绍
• 4.2 网页分类的几个研究方向
• 4.3 网页分类的改进方法
• 4.4 小结
• 第五章 总结与展望
• 5.1 全文总结
• 5.2 进一步的工作
• 参考文献
• 摘要
• ABSTRACT
• 致谢