数据规格化网关的设计与实现

论文摘要

随着业务的快速发展,本单位需处理的业务数据出现了多源、分布、海量、异构、多格式等新特征,对信息系统的处理能力提出了更高的要求。构建一套能够分布式部署并有效处理海量异构信息的综合信息处理平台成为当务之急。构建该新型信息综合处理系统首先要实现前端异构业务数据采集系统的数据融合汇集接入和集中存储管理,数据规格化网关是接口于各前端业务数据采集系统,并根据所定义好的元数据规范将数据源中原始信息加工后写入数据容器的中间件系统,这是系统必不可少且极为重要的组成部分。本课题正是在这样的需求下开展研制的。本文对本单位业务数据处理面临的问题及需求进行了梳理归纳,研究确立了以面向对象、J2EE、网络存储、元数据为主的技术路线,设计并实现了数据规格化网关各模块程序。在数据结构部分,在参考主流元数据格式的定义描述基础上,研究设计了独特的关系数据库与XMLType相结合的分级库表结构;在存储设备部分,根据块设备和散文件的存储需求,考察选定了NAS与IP-SAN相结合的存储体系;在数据处理部分,集成封装了红缨枫、TRS CKM和Javamail等内容管理组件,实现了内容提取、语种识别、邮件解析、摘要和主题词抽取等文本处理功能;在数据融合部分,设计并实现了多源数据扫描、元数据规格化、总线式数据交换等功能模块。本课题研究成果已经转化为实际生产力,程序运行稳定可靠,效益良好,具有较好的推广应用前景。本课题的实现还可以为其他具有异构数据融合或应用系统整合需求的科研项目提供参考。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景
• 1.1.1 项目背景
• 1.1.2 课题在项目中的地位
• 1.1.3 课题面临的问题
• 1.2 中间件技术发展现状
• 1.2.1 中间件概念
• 1.2.2 中间件分类
• 1.2.3 中间件发展趋势
• 1.3 本课题研究的目的和意义
• 1.3.1 数据统一标引，提高数据利用效能
• 1.3.2 消除信息孤岛，构建多级数据中心
• 1.3.3 构建数据总线，拓展数据流转通道
• 1.4 本文的主要工作和组织结构
• 1.4.1 本文的主要工作
• 1.4.2 本文的组织结构
• 第二章 数据规格化网关主要技术路线
• 2.1 面向对象技术
• 2.2 J2EE（JAVA 2 PLATFORM ENTERPRISE EDITION）
• 2.2.1 J2EE 的四层模型
• 2.2.2 J2EE 的优势
• 2.3 网络存储技术
• 2.4 元数据技术
• 2.4.1 元数据概念
• 2.4.2 主要元数据格式
• 2.4.3 元数据定义与描述
• 2.4.4 元数据存储与组织
• 第三章 数据规格化网关总体设计
• 3.1 系统的总体结构
• 3.1.1 系统分级结构
• 3.1.2 系统分层结构
• 3.2 网关的总体功能描述
• 3.2.1 网关设计原则
• 3.2.2 网关的研发目标
• 3.3 设计要求
• 3.3.1 网关要具备覆盖性
• 3.3.2 网关要具备实用性
• 3.3.3 网关要具备先进性
• 3.3.4 网关要具备开放性
• 3.3.5 网关要具备灵活性
• 3.4 数据容器设计
• 3.4.1 存储设备
• 3.4.2 元数据库
• 3.4.3 全文索引数据库
• 3.5 系统的功能设计
• 3.6 网关运行环境
• 3.6.1 网络环境
• 3.6.2 硬件环境
• 3.6.3 软件环境
• 第四章 数据规格化网关的设计与实现
• 4.1 基于内容的预处理模块的设计与实现
• 4.1.1 语种识别模块
• 4.1.2 内容提取模块
• 4.1.3 自动摘要模块
• 4.1.4 邮件解析模块
• 4.2 网关主要模块的设计与实现
• 4.2.1 管理配置模块
• 4.2.2 数据源扫描模块
• 4.2.3 数据规格化模块
• 4.2.4 报文入库模块
• 4.2.5 数据交换模块
• 4.2.6 统计日志模块
• 4.2.7 其他接口模块
• 4.3 元数据设计
• 4.3.1 原始报文基本信息表
• 4.3.2 邮件类报文主件信息表
• 4.3.3 邮件类报文附件信息表
• 4.3.4 文档类报文属性信息表
• 4.3.5 网页类报文属性信息表
• 4.3.6 压缩类报文属性信息表
• 4.3.7 传真类报文属性信息表
• 4.3.8 密数据类报文属性信息表
• 4.3.9 其他类报文属性信息表
• 结束语
• 参考文献
• 作者在学期间取得的学术成果
• 致谢