基于SOA的网络信息资源采集系统的研究与实现

论文摘要

互联网是当今世界上最大的信息库和传播信息的最主要渠道,但是由于信息数据量巨大、整合程度低等特点,限制了对其蕴涵价值的挖掘,如何高效地采集有价值的网络信息资源,成为当前研究的热点。针对采集系统中的难点,在对本体等相关技术深入研究的基础上,本文提出了基于目录树的网络资源采集算法与基于本体和可视化规则的抽取模型,结合网络科技资源应用集成环境建设项目的技术方案和需求说明,设计并实现了基于SOA的网络信息资源采集系统,为获取网络信息资源提供了一个可行的方案。通过实际项目的应用,验证了系统的可行性和高效性。

论文目录

• 中文摘要
• 英文摘要
• 第一章 引言
• 1.1 研究背景及意义
• 1.2 发展现状
• 1.3 主要研究内容
• 1.4 本文的组织结构
• 第二章 系统架构设计
• 2.1 面向服务的体系结构
• 2.2 面向服务的采集架构设计与分析
• 2.2.1 采集策略配置
• 2.2.2 采集算法研究
• 2.2.3 正文抽取模型研究
• 2.2.4 网页查重处理
• 2.3 主要功能模块关系说明
• 2.4 小结
• 第三章 基于目录树的采集算法研究
• 3.1 目录树采集算法的提出
• 3.2 目录树采集算法设计与分析
• 3.2.1 采集算法优劣的评价标准
• 3.2.2 目录树采集算法的结构
• 3.2.3 目录链接的提取
• 3.2.4 有效目录链接的识别
• 3.2.5 有效节点链接的提取
• 3.3 目录树采集算法验证
• 3.4 小结
• 第四章 基于本体和可视化规则的抽取模型研究
• 4.1 抽取模型结构
• 4.2 基于领域本体的抽取规则
• 4.2.1 领域本体分析
• 4.2.2 领域本体库的建立
• 4.2.3 基于领域本体的抽取
• 4.3 可视化抽取规则
• 4.3.1 可视化抽取规则
• 4.3.2 可视化抽取规则分析
• 4.3.3 可视化抽取规则实现
• 4.4 抽取模型的实现
• 4.4.1 本体与可视化规则的结合
• 4.4.2 模型中定义的抽取规则
• 4.4.3 模型验证
• 4.5 小结
• 第五章 系统实现与应用
• 5.1 应用项目简介
• 5.2 系统实现
• 5.2.1 系统结构设计
• 5.2.2 系统结构分解
• 5.2.3 数据库结构设计
• 5.2.4 系统安全性设计
• 5.3 系统应用
• 第六章 总结与展望
• 6.1 本文的工作总结
• 6.2 下一步的工作
• 参考文献
• 致谢
• 在学期间发表的学术论文和参加科研情况