基于AJAX的Web信息抽取技术的研究

论文摘要

自2004年Web2.0的概念提出之后,Internet的使用方式发生了很大的变化。以前人们主要是通过Internet浏览网站新闻。而出现了Web2.0之后主要是采用交互的方式,用户不只是浏览网站新闻,还可以在网站中交流信息、对话、编辑网站等。如现在很流行的博客、虚拟社区、百科全书等都很注重用户的交互体验。这也是未来Web的技术发展方向。随着Web2.0的广泛应用,信息抽取面临了新的问题：由于异步的JavaScript是AJAX框架网站的构建基础,而传统的Web信息抽取并不能抽取出AJAX框架网站中的信息。这就出现了传统的Web信息抽取对AJAX框架网站无能为力的同时基于AJAX框架网站又不断的涌现。那么就意味着传统的Web信息抽取技术无法抽取出用户感兴趣的有用信息。这个问题引起了学者们的广泛关注,研究基于AJAX的Web信息抽取对互联网领域的技术理论发展和应用有很大的意义。论文介绍了信息抽取的发展、研究现状、信息抽取分类、相关技术及评价指标,对几种传统的信息抽取技术进行一定的介绍,并阐明了基于AJAX的Web信息抽取技术的设计目标和具体设计。论文在传统静态网页信息抽取方法的基础上,进一步提出并实现了基于动态网页的信息抽取。本文在对待抽取的URL页面进行解析之后,通过页面处理对页面中的JavaScript代码进行分析与解析,然后通过DOM构造器重新构建网页DOM树。通过研究与分析最终解决AJAX框架网站中的信息提取及JavaScript异步交互信息抽取的关键技术问题,实现了抽取AJAX框架网站信息的目的。本文在对传统信息抽取技术进行分析的基础上提出了基于AJAX的Web信息抽取技术,并达到了抽取AJAX框架网站信息的目的。对页面分析,页面处理、规则生成等模块之间的相互操作提出了理论支持及技术方法,为AJAX框架网站的信息抽取提供了解决方案并简单的设计了针对AJAX框架的信息抽取系统。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 选题的背景及意义
• 1.2 Web信息抽取的研究现状及发展
• 1.3 论文研究内容及组织结构
• 第2章 Web信息抽取概述
• 2.1 Web信息抽取原理
• 2.1.1 传统的信息抽取原理
• 2.1.2 基于AJAX的动态网页抽取原理
• 2.2 Web信息抽取分类
• 2.2.1 人工获取规则处理方式的信息抽取
• 2.2.2 半自动化学习方式的信息抽取
• 2.2.3 及其学习与归纳学习方式的信息抽取
• 2.3 信息抽取系统的评价指标
• 2.4 本章小结
• 第3章 基于AJAX的信息抽取系统的设计
• 3.1 相关概念
• 3.1.1 AJAX
• 3.1.2 Web2.0
• 3.1.3 JavaScript
• 3.2 传统的信息抽取方式面临的挑战
• 3.2.1 AJAX资源的不可见性
• 3.2.2 状态信息的不可定位性
• 3.3 AJAX面临的挑战
• 3.4 AJAX信息抽取系统的核心工作
• 3.5 AJAX信息抽取系统的设计
• 3.5.1 整体研究思路
• 3.5.2 整体设计思路
• 3.5.3 系统工作流程图
• 3.6 本章小结
• 第4章 基于AJAX的信息抽取系统的实现
• 4.1 相关技术
• 4.1.1 HTML
• 4.1.2 XML
• 4.1.3 XPath
• 4.1.4 XSLT
• 4.1.5 DOM
• 4.2 页面获取
• 4.3 页面处理
• 4.3.1 动态网页处理引擎的工作原理
• 4.3.2 动态网页处理引擎工作流程
• 4.4 抽取规则的学习
• 4.4.1 获取XPath路径
• 4.4.2 XSLT描述规则
• 4.4.3 抽取规则的生成
• 4.4.4 抽取规则的优化
• 4.5 信息抽取
• 4.6 基于DOM的Xpath生成技术
• 4.6.1 DOM采用JTree显示
• 4.6.2 基于DOM的XPath生成算法
• 4.7 本章小结
• 第5章 实验及分析
• 5.1 开发平台和工具
• 5.2 系统工作总览
• 5.3 用户界面介绍
• 5.4 抽取实例及分析
• 5.5 系统评价
• 5.6 本章小结
• 第6章 总结及展望
• 6.1 论文总结
• 6.2 工作展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的学术论文