XML数据智能管理若干关键技术研究

论文摘要

随着海量XML数据的涌现与传递,XML已成为互联网上信息表示和数据交换的一个重要标准,继而产生了对XML数据管理的需求,如何有效地表示、查询与挖掘这些XML数据已经成为当前XML数据管理领域遇到的一个重要挑战。针对目前XML数据管理研究现状中存在的问题与不足,本文研究了XML数据模型、群体智能、模式识别、神经网络、数据挖掘与智能计算等原理与方法,在原型系统XBASE上提出了一系列基于XML键的数据清洗、查询、数据挖掘等新的智能管理方法,同时探讨了XML重构的有效途径等问题。本文围绕XML数据的查询与数据挖掘等智能管理问题展开研究,研究内容和取得的成果主要体现在以下四方面:1.XML数据管理框架—XPDM的建立现有的XML数据模型存在着四个问题影响了XML数据的有效管理,即:（1）数据的异构:给多数据源集成带来许多困难,影响了信息查询的有效性;（2）数据的非一致性:由于数据约束的不完整性,常导致数据前后不一致,影响数据查询的准确性;（3）多数据源之间数据依赖关系的不确定性:影响数据之间的归并与查询;（4）语义标准的规范:由于XML正处于发展之中,许多规范还不完善,往往导致了查询语句的繁琐与混乱。针对以上问题,本文提出了一种以XML键构建的向量空间模型为基础、利用概率理论进行操作的海量XML数据管理框架—XPDM。该框架通过对XQuery 1.0和XPath 2.0数据模型XDM进行语义规范新扩充及XML数据矢量转换,较好地解决了以上四个问题。2.数据智能清洗与查询策略为了解决XML文档中的“脏数据”问题,通过引入XML键组合及XML向量模型,利用贝叶斯学习方法与马尔可夫链概率转移策略建立XML数据清洗过程的元数据模型,利用XML树相似性判定算法,提出了一种智能清洗XML数据的新方法,通过相应规则库的预定义完成XML数据的清洗;另外为了解决XML数据清洗检测繁锁及灵活性差的问题,提出了通过合理组合XML键、融入粒子群算法、结合隐马尔可夫模型信息抽取策略构建XML数据清洗优化算法;为了提高XML数据查询的智能性与有效性,通过采用启发式方法,结合XML半结构化的特点,将粒子算法与蚁群算法融入到海量XML数据概率查询上,并进行相应改进,实现了数据查询范围的并行处理能力与收敛效率的提高。3.XML数据智能挖掘策略互联网上已聚集了海量的XML数据,为了有效地对XML数据进行挖掘,本文从以下几个方面进行研究:（1）为了提高海量XML文档集的聚类质量,分别以粒子群算法与矩阵迭代自组织算法为基础,提出了基于粒子群的XML自适应混沌聚类算法和基于向量空间模型的矩阵迭代自组织XML辅助聚类算法;（2）为了提高海量XML文档集的并行处理能力,根据混沌原理,融入蚁群聚类算法,通过定义相应混沌适应度函数衡量蚂蚁与其邻域的相似程度,提出了一种基于混沌原理与蚁群聚类模型的XML分片算法;（3）针对XML数据的流动性和无限性等特点及质量检测存在的不足,提出构建XML键的矢量矩阵作为窗口,利用矢量积小波变换多级分解与重构,再结合最小二乘支持向量机构建双滑动窗口进行XML数据自适应监测算法,满足对XML数据进行网络传递的质量管理要求。4.XML智能重构策略为了更好地优化XML的语义规范,解决随着用户需求的变化以及时间的推移、XML数据结构也会发生变化这一问题,对XML重构进行了探测性研究。在XML文档片段重构的基础上,利用XML语义约束关系及XML路径层次性,再结合向量机原理与频繁模式的特点,提出了XML频繁模式树XFP-tree算法进行XML结构重构策略,有助于进一步保证XML的质量。

论文目录

• 摘要
• ABSTRACT
• 目录
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究目的
• 1.3 XML数据管理研究现状
• 1.3.1 现有的解决方案及存在的问题
• 1.3.2 需要解决的问题
• 1.4 研究方案
• 1.4.1 本文的解决方案
• 1.4.2 研究内容与主要工作
• 1.4.3 本文组织结构
• 1.5 本章小结
• 第二章 XML数据管理研究基础
• 2.1 相关的XML知识
• 2.1.1 XML文档结构
• 2.1.2 XML数据模型
• 2.1.3 XML模式语言
• 2.1.4 XML查询语言
• 2.1.5 XML查询代数
• 2.1.6 应用程序接口
• 2.2 XML数据智能管理相关研究
• 2.2.1 当前XML数据管理存在的问题
• 2.2.2 相关的群智能算法研究现状
• 2.2.3 相关的计算智能研究现状
• 2.2.4 相关的数据挖掘研究现状
• 2.2.5 XML文档聚类分片研究现状
• 2.2.6 XML查询理论与优化研究现状
• 2.2.7 XML重构研究现状
• 2.3 XML数据管理研究的扩展与完善
• 2.4 数据来源与仿真环境
• 2.5 本章小结
• 第三章 XML数据概率管理框架-XPDM研究
• 3.1 引言
• 3.2 XPATH与XQUERY数据模型
• 3.3 基于XML的WEB概率数据模型-XPDM
• 3.3.1 概率模型
• 3.3.2 向量空间模型
• 3.3.3 XML概率数据模型-XPDM描述
• 3.3.4 对应XPDM的Schema描述
• 3.3.5 XPDM图描述
• 3.4 XPDM文档规范与查询代数
• 3.4.1 XPDM中XML文档规范
• 3.4.2 XPDM中函数依赖的概念
• 3.4.3 XPDM中XML函数依赖
• 3.4.4 XPDM中XML逻辑蕴涵
• 3.5 XPDM中XML非一致性数据转换方法
• 3.5.1 方法概述
• 3.5.2 问题定义
• 3.5.3 推理关系与代数表达
• 3.5.4 数据修复与算法实现
• 3.6 XPDM对向量空间模型的扩展
• 3.6.1 XPDM中文档相关性扩展
• 3.6.2 XPDM中XML键定义
• 3.6.3 XPDM中XML键的规则推理
• 3.6.4 XPDM中XML候选键求解算法
• 3.6.5 XPDM中XML键的向量矩阵计算
• 3.7 基于XPDM的规则与应用
• 3.7.1 XPDM与XML文档的匹配
• 3.7.2 XPDM对查询的支持
• 3.7.3 基于XPDM的XML数据源查询操作
• 3.8 本章小结
• 第四章 XML数据智能清洗与查询策略
• 4.1 引言
• 4.2 数据清洗理论与主要问题
• 4.2.1 数据清洗理论与主要问题
• 4.2.2 数据清洗解决的主要问题及原因分析
• 4.2.3 Web数据挖掘中的数据清洗的难点
• 4.3 XML数据智能清洗策略
• 4.3.1 元数据模型
• 4.3.2 相似性判定原理
• 4.3.3 数据清洗算法
• 4.3.4 仿真测试
• 4.4 XML数据清洗智能优化策略
• 4.4.1 隐马尔科夫模型与XML文档向量化
• 4.4.2 粒子群算法与XML数据清洗算法
• 4.4.3 XML数据清洗标准
• 4.4.4 实验仿真
• 4.4.5 两种 XML数据清洗方法的比较
• 4.5 XML数据智能查询分析及优化
• 4.5.1 相关定义
• 4.5.2 简单路径离散与智能查询算法
• 4.5.3 实验仿真
• 4.5.4 XPDM中优化查询对维数灾问题的解决方案
• 4.6 本章小结
• 第五章 XML数据智能挖掘管理策略
• 5.1 引言
• 5.2 当前XML数据挖掘研究内容
• 5.3 XML数据聚类策略及其优化
• 5.3.1 自适应混沌粒子群算法优化策略
• 5.3.2 向量矩阵迭代自组织XML辅助聚类算法
• 5.4 XML智能分片研究
• 5.4.1 XML并行处理技术
• 5.4.2 XML并行处理相关定义与原理
• 5.4.3 混沌优化及蚁群聚类算法
• 5.4.4 混沌蚁群聚类XML分片算法
• 5.5 XML数据网络监测策略
• 5.5.1 基本概念
• 5.5.2 XML数据的采样与划分
• 5.5.3 监测策略与优化
• 5.6 本章小结
• 第六章 XML智能重构策略
• 6.1 引言
• 6.2 XML数据重构研究内容
• 6.2.1 软件复用
• 6.2.2 服务组合
• 6.3 XML文档片段重构
• 6.4 XML结构重构
• 6.4.1 基本原理
• 6.4.2 XML结构向量表示与XFP-tree
• 6.4.3 启发式策略与XFP-tree算法
• 6.4.4 仿真测试
• 6.5 本章小结
• 第七章 工作总结与展望
• 7.1 本文的工作总结
• 7.2 下一步的工作
• 参考文献
• 攻读学位期间主要的研究成果
• 致谢