分布式内存数据库存储研究

论文摘要

近年来,国内外对智能电网的研究大力推进了电网的信息化进程。随着电网系统对信息技术应用的不断深化,电网系统对于数据库的存储能力及实时性要求逐渐提高,因此比传统磁盘数据库拥有更高性能的内存数据库得到了广泛的应用。但由于内存容量的限制,内存数据库往往以前端缓存的角色出现在电网系统中,用以缓解传统磁盘数据库的性能瓶颈。随着智能电网的兴起,相对于传统电网,数据的交互更加频繁,数据量更加庞大,这就需要数据平台拥有更大的数据容量以及更高的数据并发性。一方面意味着传统电网系统中的内存数据库将要承担更多的业务数据与业务应用,另一方面也对内存数据库提出了新的要求与挑战。通过结合电网的特点以及智能电网的发展趋势,设计实现了基于分布式内存文件系统的分布式内存数据库系统。用以解决集中式内存数据库在容量以及并发性等问题上的不足。系统分为两层结构,下层为分布式内存文件系统,为上层提供透明的内存文件操作服务,负责将文件分块存储于分布式系统中的各个节点并映射到响应节点的进程空间中以供操作,并保证系统中各个节点的负载均衡与数据一致性,同时提供动态的节点增减功能;上层为分布式内存数据库管理系统,通过调用下层的文件服务来存储关系数据,并根据需求对这些关系数据分别建立全局索引与局部索引以供快速的查询。两层系统采用松耦合的架构,各自负责独立的功能并进行优化。通过测试结果可以看出,在单节点的情况下,系统的TPS(每秒执行事务量Transaction Per Second)接近商用内存数据库;在系统中每增加一个节点,可以为整个系统提供大约0.76倍的单节点并发量(线性增长);在有节点加入或离开系统时,各节点的负载可以较快速的趋于平衡。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题研究背景
• 1.2 分布式内存数据库研究现状
• 1.3 本文研究内容及章节安排
• 2 分布式内存数据库存储研究
• 2.1 分布式数据库的分类
• 2.2 数据分片及分布概述
• 2.3 分布式数据一致性概述
• 2.4 本章小结
• 3 分布式内存数据库设计
• 3.1 设计遵循的原则
• 3.2 系统整体设计
• 3.3 分布式内存文件系统
• 3.4 分布式内存数据库系统
• 3.5 本章小结
• 4 系统测试与分析
• 4.1 测试环境
• 4.2 测试流程及结果
• 4.3 本章小结
• 5 全文总结与展望
• 5.1 论文的主要工作
• 5.2 展望
• 致谢
• 参考文献