交易数据库中的内存机制

论文摘要

如何在实时性强且数据量大的系统中提高业务处理效率，是近年来许多人探讨的一个话题。本文把研究对象建立在一个大型证券交易系统中，这类普遍使用关系数据库的系统中，在实时大数据量处理和更新等事务上往往通过硬盘操作耗费很多时间，而本论文的研究目的就是运用内存与实时数据库的一些主要思想和原理，设计出一套适合交易系统数据库，并具有一定通用性的，实时高效的内存(主存)机制，在不破坏原有数据库结构和不利用大成本建立实时数据库的基础上，显著提高数据存储和操作的速度，进而提升交易过程的效率。 研究结合了一个实际项目，遵循软件工程的基本流程，在分析阶段阐述了内存机制的实现原理，获取了业务上需达到的数据处理目标，并利用相关数据库原理结合业务特点对内存机制进行了进一步分析，从数据库中选出了需要放在内存空间中的表；在设计阶段根据交易系统数据库的结构提出了跨服务器模块化的内存机制框架，并具体设计和实现了内存对象的存储和操作方法，同时利用红黑树数据结构创建了一套索引，建立了并发共享和监控同步的机制；随后进行的效率和强度测试证明了实际应用中此机制能使数据存储和操作效率提高一个数量级，并使整体交易处理效率提高3倍左右；研究的最后还考虑了维护方面的问题，保证了系统能够长时间正确稳定地运行。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引论与背景
• 1.1 交易系统中的数据库运作
• 1.2 交易数据库发展中出现的问题和分析
• 1.3 解决实时大数据量问题的研究现状与探讨
• 1.3.1 国内外研究现状
• 1.3.2 最适性探讨
• 1.4 论文研究工作安排
• 1.5 本章小结
• 第二章 内存机制的原理与分析
• 2.1 内存机制的实现原理
• 2.1.1 数据存储
• 2.1.2 数据查询
• 2.1.3 数据更改
• 2.1.4 索引
• 2.1.5 并发与共享
• 2.1.6 内存和硬盘间的数据传输
• 2.2 业务需求
• 2.2.1 客户需求概述
• 2.2.2 初步可行性分析
• 2.2.3 内存机制实现的前提与目标
• 2.3 结合业务的需求分析
• 2.3.1 数据表类型分析
• 2.3.2 内存表选取原则
• 2.3.3 内存中的数据库建立和操作分析
• 2.3.4 使用内存机制的代价和补充
• 2.4 本章小结
• 第三章 内存机制的设计与实现
• 3.1 内存机制的前期设计
• 3.1.1 建立和运行的大环境-集中交易系统
• 3.1.2 组成框架与功能
• 3.1.3 内部结构设计
• 3.1.4 内存机制的配置
• 3.1.5 内存机制的初始化与加载
• 3.1.6 运行与监控
• 3.1.7 操作与维护
• 3.1.8 设计中需要考虑的问题
• 3.2 内存表设计方案
• 3.2.1 内存表的存储
• 3.2.2 表级操作
• 3.2.3 内存表查询
• 3.2.4 内存表修改
• 3.2.5 批量数据处理
• 3.3 高效能索引的研究
• 3.3.1 内存表索引与一般关系数据库表索引的比较
• 3.3.2 索引的选取-B树和红黑树介绍
• 3.3.3 红黑树索引的操作规则
• 3.3.4 索引内部结构设计
• 3.3.5 索引外部结构设计
• 3.4 内存机制的并发和共享
• 3.4.1 锁机制概述
• 3.4.2 锁机制结构设计
• 3.4.3 锁机制实现
• 3.4.4 内存中的事务机制分析-实时数据库事务
• 3.4.5 实时事务带来的内存需求
• 3.5 内存机制的监控与同步
• 3.5.1 信息监控
• 3.5.2 操作监控
• 3.5.3 同步监控
• 3.6 编码、测试与维护
• 3.6.1 编码方式和特点
• 3.6.2 测试
• 3.6.3 维护中需要考虑的问题
• 3.7 本章小结
• 第四章 内存机制的运行与性能报告
• 4.1 内存机制的运行示例
• 4.1.1 单内存表操作示例
• 4.1.2 全局操作示例
• 4.2 内存机制运行性能分析
• 4.2.1 资源占用
• 4.2.2 环境融合
• 4.2.3 性能表现
• 4.3 与其他改革方案的比较
• 4.3.1 与使用临时内存表的比较
• 4.3.2 与使用db2内存缓冲机制的比较
• 4.3.3 与使用实时数据库的比较
• 4.4 现存的不足之处和改进方向
• 4.5 本章小结
• 第五章 研究总结与体会
• 5.1 整体项目研究总结
• 5.2 本人的研究总结
• 5.2.1 研究工作总结
• 5.2.2 研究成果与学术创新总结
• 5.3 感受与体会
• 参考文献
• 发表论文和参加科研情况说明
• 致谢
• 附录 源程序