基于Web的新闻信息抽取系统设计与实现

论文摘要

因特网的飞速发展,使其成为迄今为止最密集、最丰富的新闻信息来源。伴随着因特网的广泛应用,网络中的新闻信息迅速地积累、膨胀,新闻信息的利用需求与要求也不断提高。人们很难有效地利用搜索引擎来发现所需的Web新闻信息资源。为了解决对Web新闻信息资源的需求问题,各大搜索引擎均推出了专门针对新闻信息的搜索服务。但是,仅仅依靠传统的浏览器和搜索引擎很难帮助人们找到符合自己所需要的特定的新闻信息资源。新闻信息抽取系统的提出,有效地解决了准确获取Web页面中的新闻信息资源的难题。本文在分析新闻网页结构的基础上,提出了一种基于网页文本源码标签特征匹配思想,从指定Web站点中定时自动抽取新闻信息的方法。该方法是以Web页面文档对象样本为基础,利用正则表达式表示提取信息的源码标签文本特征,并以这个基本原理为基础设计了一种算法来通过人机交互生成指定网站的新闻抽取规则,该方法将抽取的信息存放在关系数据库中,以便支持查询以及其他各种扩展应用。系统的执行过程分为三个阶段:信息源定制阶段、信息抽取阶段和信息管理阶段。在信息源定制阶段,主要是根据指定的信息源网站,定义所要抽取的信息的规则,并保存在数据库中。在信息抽取阶段系统根据信息源定制阶段产生的规则对与之对应的网站新闻进行信息批量抽取,并将抽取出的结果保存在关系数据库中。信息管理阶段是通过Web可视化界面对信息抽取阶段的结果进行浏览编辑处理等处理。基于这种抽取法的原型系统可直接应用于Web查询、网站监控和搜索,也可用于其他应用的数据准备。论文采用此方法,设计并实现了新闻信息抽取系统(WebNE),用来获取各网站新闻,系统经测试可定时对指定网站新闻信息进行抽取,并且抽取效果良好。本系统的信息抽取与传统的人工采集信息相比,自动抽取信息可以减少很多重复性工作,大大缩短采集时间,节约人力物力成本,提高效率。而且不会出现人工信息采集中的遗漏、偏差和错误,他提供了一个方便高效的信息抽取、管理平台,有着良好的发展前景。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 Web挖掘概述
• 1.1.1 Web挖掘的定义
• 1.1.2 Web挖掘的分类
• 1.2 Web信息抽取
• 1.2.1 Web信息抽取的定义
• 1.2.2 Web信息抽取的意义
• 1.2.3 Web信息抽取技术的研究进展
• 1.3 本课题研究的目的和意义
• 1.4 本文研究的内容和组织结构
• 1.5 本章小结
• 第二章 相关技术研究
• 2.1 HTML页面构成分析
• 2.2 新闻网页的特征和结构分析
• 2.3 Web信息抽取中的数据定位
• 2.4 正则表达式的介绍
• 2.4.1 正则表达式简介
• 2.4.2 正则表达式的基本语法
• 2.4.3 利用正则表达式处理解析匹配
• 2.5 本章小结
• 第三章 抽取规则的构造与实现
• 3.1 基于人工的规则构造
• 3.2 基于正则表达式调试器的规则构造
• 3.3 本章小结
• 第四章 新闻信息抽取系统（WebNE）的设计与实现
• 4.1 系统目标分析
• 4.2 系统开发环境的选择
• 4.2.1 操作系统平台选择
• 4.2.2 Web服务器与数据库软件的选择
• 4.2.3 编程语言的选择
• 4.3 系统的组成
• 4.4 系统的实现过程
• 4.4.1 信息源定制阶段
• 4.4.2 信息抽取阶段
• 4.4.3 信息管理阶段
• 4.5 系统定时任务的实现
• 4.6 用户使用前端页面实现
• 4.6.1 页面的组成和层次结构
• 4.6.2 JSP页面
• 4.7 本章小结
• 第五章 系统测试和结论
• 第六章 总结与展望
• 6.1 论文的总结
• 6.2 进一步的研究工作
• 参考文献
• 致谢