大量并发环境下的缓冲异步处理模型研究与应用

论文摘要

当前,互联网技术的快速发展及其应用的极大普及,标志着信息时代的到来。信息系统逐渐融入了人们的生活,帮助人们完成各种日常业务。越来越多的人加入信息化的大潮中来,信息系统所承担的工作也越来越繁重。随着用户数量的迅速增加,对信息系统在大规模并发环境下的性能提出了新的挑战,如何应对和解决这一问题,成为各个应用领域所关注的焦点。在不同的应用领域,为了解决大量并发环境下的性能瓶颈,采用了不同的方法,其中很大一部分都运用了数据缓冲的核心思想。这种方法最早起源于对操作系统的研究,引入数据缓冲技术最初的目的是缓和改善CPU和I/O设备之间设备不匹配的矛盾。随着各种缓冲技术的成熟和发展,Web缓存,流媒体缓存以及数据库缓存等都较好的解决了特定领域的性能瓶颈问题。在大量并发环境中,往往也伴随着用户大量的数据处理请求,在传统的处理模式中,面对大量并发的环境,数据处理请求直接提交到数据库,数据库系统根据先进先出的原则每次单独的处理一个事务。在大量并发的情况下,繁重的数据库处理事务消耗了系统大部分的时间和资源,这就导致了大量并发情况下系统性能的快速下降。针对这种情况,本文作者提出并实现了基于数据缓冲思想的缓冲异步处理模型(BAPM)。此模型内部借助事件机制来进行数据通信,综合考虑了内存和硬盘两种缓存介质各自的优缺点,并以批处理的方式集中完成原有的数据处理请求,大大提高了运行效率。整个系统以线程的方式启动,异步的完成对原有数据处理请求的代理。用户只需在特定的节点调用模型的入口函数即可启动缓冲功能,最大限度的减少了对原系统的影响和改动。文章的最后,将此模型应用到实际的项目中,通过大量的功能测试和性能测试有效的验证了BAP模型的可靠性和优越性,对系统的性能指标给出了一个定量的分析。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 选题背景及研究意义
• 1.2 国内外研究现状
• 1.3 论文主要研究内容
• 1.4 论文结构
• 2 背景知识介绍
• 2.1 Web 缓存技术
• 2.1.1 缓存分类
• 2.1.2 替换策略
• 2.1.3 Web 缓存工作机制
• 2.1.4 小结
• 2.2 流媒体代理缓存原理
• 2.2.1 流媒体代理服务器的功能
• 2.2.2 缓存一致性问题
• 2.2.3 缓存对象的存放方式
• 2.2.4 缓存替换策略
• 2.2.5 小结
• 2.3 数据库缓冲区管理技术
• 2.3.1 数据库缓冲区替换算法和空间分配
• 2.3.2 DM 的数据缓冲区管理
• 2.3.3 小结
• 3 缓冲异步处理模型应用研究
• 3.1 项目背景
• 3.1.1 项目简介
• 3.1.2 系统架构
• 3.1.3 并发数据处理模块描述
• 3.2 传统处理模型
• 3.2.1 处理过程
• 3.2.2 对大量并发请求处理能力不足
• 3.2.3 项目瓶颈分析
• 3.3 基于事件驱动的缓冲机制
• 3.3.1 Java 中的事件机制
• 3.3.2 基于事件驱动的缓冲机制
• 3.4 缓冲异步处理模型研究
• 3.4.1 基本思想
• 3.4.2 缓冲异步处理模型的设计
• 3.4.3 缓冲异步处理模型的优点
• 4 设计与实现
• 4.1 系统设计
• 4.1.1 需求和目标
• 4.1.2 类图及说明
• 4.1.3 顺序图及说明
• 4.1.4 属性及接口定义
• 4.2 系统实现
• 4.2.1 开发及运行环境说明
• 4.2.2 关键代码示例
• 4.2.3 应用示例
• 5 测试及验证
• 5.1 测试目的
• 5.2 测试环境
• 5.2.1 软硬件环境配置
• 5.3 使用工具
• 5.3.1 JConsole 简介
• 5.3.2 SQL server 事件探查器
• 5.4 功能测试
• 5.4.1 测试内容
• 5.4.2 案例设计
• 5.5 性能测试
• 5.5.1 测试内容
• 5.5.2 测试平台搭建
• 5.5.3 案例设计
• 5.6 结果分析
• 6 结语
• 6.1 本文工作总结
• 6.2 未来研究展望
• 致谢
• 参考文献
• 附录
• A: 作者在攻读硕士学位期间参加的研发项目
• B: 作者在攻读硕士学位期间发表的论文目录