数据流系统中负载管理技术应用研究

论文摘要

随着计算机和网络技术的不断发展以及相关技术的进步,信息系统在制造、运输、金融、IT等各行各业得到了广泛应用。待处理数据量的飞速增加,使得传统数据管理技术难以适应新形势下的应用需求。近年来数据流管理技术,包括数据流管理系统的构建、优化、数据流挖掘等得到了密切关注。论文讨论了数据流系统的基本结构、工作原理、实现方法、特点以及其主要应用领域,针对由单位时间内输入系统的数据单元数量变化引起的处理器过载问题,探讨了负载管理系统模型的构建方法,并对负载平衡、Load-shedding、摘要生成等关键技术进行了深入研究。论文主要研究内容如下:（1）提出了基于双层重叠结构的负载平衡算法。针对分布式数据流系统对负载平衡可扩展性和易恢复性的需求,对负载平衡技术进行研究,提出了一种基于双层重叠结构的负载平衡算法,该算法可以满足Internet环境下紧耦合分布式数据流系统进行负载平衡的需求。（2）提出了基于分支路径分析的Load-shedding算法。针对以聚合类查询操作为结尾,包含多条输入数据流,多查询结果的连续查询网络的降载问题,对Load-shedding技术进行研究,提出了基于分支路径分析的Load-shedding算法。在此基础上进一步研究了该算法在输入数据单元具有不同权重、以非聚合类查询操作为结尾这两种情况下的改进推广,扩展了算法的适用范围。（3）提出了一种有效数据识别算法。给出了分布式数据流系统中有效数据的概念,将单输入数据流的数据识别技术推广到多输入数据流环境,给出了一种有效数据识别算法,该算法较好地解决了分布式数据流应用中的有效数据识别这一技术问题。（4）针对分布式数据流应用范畴,给出了负载管理系统模型DDSMLMS。通过分析负载管理系统的设计原则以及对现有负载管理系统结构、功能、运行环境的研究,论文综合考虑多种负载管理技术,给出了负载管理系统模型DDSMLMS。该模型作为课题组设计的生产现场管理系统的重要部分,在某国防基础预研项目中得到良好应用,提高了数据流系统的实用性能。本文对负载管理技术的研究,为有效应对数据流系统的负载问题提供了

论文目录

• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 论文的研究内容及创新点
• 1.4 论文的组织结构
• LMS 负载管理系统结构及若干关键技术'>第二章 DDSM_LMS 负载管理系统结构及若干关键技术
• 2.1 负载管理系统的运行环境及特点
• 2.2 负载管理系统设计原则
• LMS 负载管理系统结构'>2.3 DDSM_LMS 负载管理系统结构
• 2.4 负载管理关键技术
• 2.5 本章小结
• 第三章 基于双层重叠结构的负载平衡算法
• 3.1 问题描述
• 3.2 基于双层重叠结构的负载平衡算法
• 3.3 算法分析
• 3.4 验证及性能分析
• 3.5 本章小结
• 第四章 基于分支路径分析的Load-shedding 算法
• 4.1 问题描述
• 4.2 一种过载判断方法
• 4.3 基于分支路径分析的Load-shedding 算法
• 4.4 不同权重输入数据单元情况下的Load-shedding 算法
• 4.5 以非聚合类查询操作结尾的Load-shedding算法
• 4.6 本章小结
• 第五章 有效数据识别算法
• 5.1 问题描述
• 5.2 有效数据识别算法
• 5.3 算法分析
• 5.4 验证及性能分析
• 5.5 本章小结
• LMS 原型系统设计'>第六章 DDSM_LMS 原型系统设计
• 6.1 设计背景
• 6.2 系统设计
• 6.3 系统测试及性能分析
• 6.4 本章小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢
• 攻读博士学位期间发表的主要论文