网络信息监控分析系统的研究与设计

论文摘要

随着WWW技术的日益成熟和互联网应用的逐渐普及,互联网已经发展成为了一个巨大的分布式信息空间。从Web中获取信息已成为个人获取知识的主要方法和重要手段,也成为当前企业获取情报的重要途径。但是,面对浩如烟海的网络信息,传统的人工搜集和处理等方法都已难以胜任。而且由于Web的组织格式主要以HTML页面这种半结构化的形式为主,其本身具有无结构性、超链接的自由无序、以及内容的海量性、多样性和动态变化等特点。采用普通的搜索引擎,在某种程度上提高了检索的效率和速度,但针对特定领域信息的搜索,仍然存在着有效性(指如何滤除相关度较低的信息)和命中率(指如何降低漏掉的有用)太低的问题。本文根据现今应用最广泛的HTML网页信息的特点,在对现有信息搜集、预处理和自动分类等网络信息处理技术进行深入的分析与研究的基础上,针对目前信息搜集技术的不足,设计开发了一个基于汽车信息领域的网络信息监控分析系统,实现了通过互联网实时定向地自动捕捉多个门户网站以及专门网站关于汽车领域的“有用”信息的功能。本文重点研究了该系统中网络信息收集子系统、智能分析预归类子系统的设计与实现,这两个子系统成功地实现了网络信息的采集、预处理和自动分类等功能,是系统的核心部分。本文研究的重要创新点是在网络信息收集子系统的设计中引入了多线程非递归方式、并行结构技术,有效地提高了系统的速度和效率;在并行结构技术的实现中,应用了并行采集的交换模式,有效地解决了网页重抓、漏抓的问题;并在网页采集过程中采用了URL过滤技术,在网页分类过程中利用阀值方法过滤无用信息,较大地提高了信息的有效性。此外,网络信息监控分析系统经过某汽车信息咨询有限公司的多次测试,验证了其可行性和有效性,在实际应用中,该系统也取得了良好的效果,较好地满足了客户的业务需求。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景
• 1.2 研究意义
• 1.3 国内外现状
• 1.3.1 国外现状
• 1.3.2 国内现状
• 1.4 本文主要工作及创新点
• 1.5 本文结构
• 第二章 网络信息监控分析系统基本原理
• 2.1 相关概念介绍
• 2.1.1 监控分析
• 2.1.2 网络信息监控分析系统
• 2.2 网页采集技术介绍
• 2.2.1 主要问题
• 2.2.2 网页采集方法
• 2.3 网页清洗技术介绍
• 2.3.1 基于DOM 的分块方法
• 2.3.2 网页洗清方法
• 2.4 网页分类技术介绍
• 2.4.1 文本分类预处理
• 2.4.2 文本分类算法
• 第三章 网络信息监控分析系统设计与实现
• 3.1 系统需求分析
• 3.1.1 系统功能分析
• 3.1.2 系统性能分析
• 3.1.3 数据库需求分析
• 3.2 系统总体设计
• 3.2.1 系统框架设计
• 3.2.2 子系统的设计与实现
• 3.3 数据库设计与实现
• 3.3.1 数据库具体分析
• 3.3.2 数据库设计
• 第四章 网络信息收集子系统设计与实现
• 4.1 工作流程
• 4.1.1 初始URL 的选择
• 4.1.2 网页采集
• 4.1.3 网页预处理
• 4.1.4 数据存储
• 4.2 主要算法
• 4.2.1 抓取算法
• 4.2.2 页面清洗算法
• 4.3 主要改进
• 4.3.1 抓取方法改进
• 4.3.2 技术改进
• 4.4 实验结果
• 4.4.1 URL 采集实验结果
• 4.4.2 网页采集实验结果
• 4.4.3 网页清洗实验结果
• 第五章 智能分析预归类子系统设计与实现
• 5.1 功能模块
• 5.2 工作流程
• 5.3 主要算法描述及实现
• 5.3.1 文本预处理算法
• 5.3.2 构造分类器过程
• 5.3.3 分类过程
• 5.4 技术改进
• 5.5 实验结果
• 第六章 结论
• 6.1 本文工作总结
• 6.2 进一步工作
• 参考文献
• 后记
• 在学期间公开发表论文及著作情况