WEB主题信息采集系统的设计与实现

论文摘要

当今互联网已经成为转播信息最快最方便的途径,每天在互联网上都有无数的网站和网页正在产生。用户可以通过搜索引擎查找信息,但是由于搜索引擎是为所有互联网用户服务的,所以用户无法通过搜索引擎方便的查找到自己指定的一组网站的内容,搜索引擎也不会主动推送这些网站的内容给用户。为了解决这个问题,作者设计了Web主题信息采集系统。利用这个系统,操作者能十分方便的定制搜索和抓取其需要的新闻信息并进行整合,从而使得从互联网中获取新闻信息更富有针对性和便捷性。本论文以信息采集系统的功能需求为向导,从需求分析、理论调研、系统构架、工作原理以及功能实现等方面入手,详细阐述了本Web主题信息采集系统的设计与实现过程。我们首先通过对国内外关于Web信息抽取和文本挖掘理论研究的现状的研究,提出了本Web信息采集系统的设计原理和系统建设目标。然后,分析了Web页面的特点,总结了其规律,设计出Web页面源代码特征的提取技术,最终形成Web信息的采集方法,并提出了Web主题信息采集系统的工作原理和系统设计。本系统主要由以下三部分构成:一是网页定制,根据所想要的信息资料的网址和我们的正则表达式相匹配的规则,来获取采集规则。二是网页信息资料获取,即一定的存取信息的规则,合理的使用提取算法,增量对最近匹配的信息资料进行更新,把有效的信息保存到我们的信息库中。三是网页信息内容管理,对采集到的信息资料进行删除,增加,查询,修改等等操作,也就是设计信息内容资料的管理系统,主要是指管理我们已经完成存取的内容数据资料。本系统通过对国内大型门户网站的信息资料获取来进行了系统的测试和论证,从而体现出这个方法的优势所在,以及方便用户的特点。同时,也通过举例,证明了这个方法具有良好的应用意义、使用范围以及发展前景。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的研究背景
• 1.2 国内外研究技术现状
• 1.2.1 信息抽取主要技术工具的比较
• 1.2.2 WEB 信息抽取算法研究
• 1.2.3 WEB 文本挖掘
• 1.3 本系统的设计目标及意义
• 1.4 本论文的主要工作
• 1.5 本论文的组织结构
• 第二章 系统需求分析
• 2.1 网页特征分析
• 2.1.1 网络数据信息内容分析
• 2.1.2 数据信息特征的分析
• 2.1.3 网页结构分析
• 2.2 功能性需求
• 2.3 非功能性需求
• 2.4 关键技术点
• 2.4.1 算法的选择
• 2.4.2 网页去重研究
• 2.5 小结
• 第三章 系统构架设计
• 3.1 系统设计目标
• 3.2 系统概要设计
• 3.2.1 0020 系统总体技术路线
• 3.2.2 0020 开发语言与开发环境
• 3.2.3 系统的架构设计
• 3.3 本章小结
• 第四章 系统的详细设计
• 4.1 信息资料的定制
• 4.2 数据提取程序
• 4.3 管理系统
• 4.4 本章小结
• 第五章 系统运行及试验结果
• 5.1 系统运行
• 5.1.1 系统界面介绍
• 5.1.2 系统功能介绍
• 5.2 测试
• 5.2.1 单元测试
• 5.2.2 功能测试
• 5.3 应用评估
• 5.4 小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 展望
• 致谢
• 参考文献
• 附件
• 附件1 匹配规则的代码设计
• 附件2 分析列表页内容的代码设计
• 附件3 获取内容页的代码设计
• 附件4 匹配规则，精确入库