风险主题网关信息采集模块研究与设计

论文摘要

建设主题网关，是综合风险防范研究的重要组成部分，其中对信息采集技术的研究尤为重要。本文针对主题网关的不同信息来源，采取定向Extractor、深度Extractor两种方式进行信息采集；建立风险知识库，处理采集到的信息，工作主要分为以下三部分：1)针对普通网页信息，采用定向Extractor：定义模板，定向抓取种子站点列表页；采用DOM和启发式规则，实现列表块的定位；提出基于标签距离的列表聚类包装方法，改善聚类效果，实现列表的聚类包装，得到结构化信息项；提出容器距离，改进基于Finn的正文抽取方法，实现信息的正文抽取，完成信息纪录集的抽取。2)针对深度网络中的信息，采用深度Extractor：●表单理解：搜索表单是访问深度网络的唯一接口，首先构造基于逻辑属性的表单逻辑模型；提出表单表达式，基于表单布局识别逻辑属性标签，分析表单元素间语义，构造启发式规则，实现表单逻辑属性的抽取。●表单的提交：以表单逻辑模型为基础，改进提交策略，提出随机排除型提交策略，实现表单的自动提交。●响应页处理：构造启发式规则，抽取响应页对应记录集。3)根据元数据，建立风险数据模型，统一抓取到的数据；建立风险知识库，实现对风险记录的分类，加工及处理。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 引言
• 1.2 研究的意义
• 1.3 本文的研究内容和论文结构
• 第2章 Web页面数据采集基础
• 2.1 相关协议与接口
• 2.1.1 DOM
• 2.1.2 Jericho Html Parser
• 2.2 WEB页面数据采集的相关技术
• 2.2.1 基于自然语言理解的方法
• 2.2.2 基于机器学习的方法
• 2.2.3 基于Ontology的方法
• 2.2.4 RoadRunner
• 2.3 术语定义
• 2.4 本章小结
• 第3章 定向Extractor设计
• 3.1 风险种子站点管理
• 3.2 模板的定义
• 3.3 方法的选择
• 3.4 列表页信息抽取
• 3.4.1 信息列表块的定位
• 3.4.2 基于标签距离的列表聚类包装方法
• 3.5 正文的抽取
• 3.5.1 Finn算法简介
• 3.5.2 Finn算法的改进
• 3.6 实验结果及分析
• 3.7 本章小结
• 第4章 深度Extractor的设计
• 4.1 深度Extractor总体框架
• 4.2 HiWE
• 4.3 表单理解
• 4.3.1 建立逻辑模型
• 4.3.2 表单表达式
• 4.3.3 LAttribute标签识别
• 4.3.4 启发式LAttribute提取方法
• 4.4 表单的提交
• 4.4.1 表单的自动填写
• 4.4.2 请求提交策略
• 4.4.3 随机排除型采样策略
• 4.4.4 穷举采样
• 4.5 响应页处理
• 4.5.1 构造启发式规则
• 4.5.2 消除重复记录
• 4.6 实验结果及分析
• 4.7 本章小结
• 第5章 综合风险知识库
• 5.1 构建知识库的目的和流程
• 5.2 数据统一化
• 5.3 知识库中表的设计
• 5.4 JDBC数据库访问及连接池技术
• 5.5 本章小结
• 第6章 总结与展望
• 参考文献
• 致谢