内存数据库及其对外接口

内存数据库及其对外接口

论文摘要

数据库(Database)是按照数据结构进行组织、存储和管理数据的仓库,随着信息技术和市场的发展,数据库理论与技术的发展也是极其迅速的,并且在今天的信息世界中,越来越被广泛的应用。但是传统的磁盘数据库,其主要的工作版本保存在非易失性的存储设备磁盘上,因此磁盘数据库系统在进行数据操作管理时,经常需要对磁盘进行访问,将数据从磁盘读取到内存,然后从内存上对数据进行处理,处理完成后再将内存中的数据写回磁盘。由于磁盘数据库的诸多操作都涉及磁盘的I/O,而磁盘由于其机械设备的特性,磁盘的I/O操作速度较慢,且连续的I/O,顺序对其速度的影响也会很大,因此磁盘数据库的I/O是其性能的瓶颈。当实时存取大量数据时,会造成磁盘数据库系统中CPU和I/O之间的矛盾。于此同时,由于移动通讯技术的发展,移动通信需要提供越来越多类型的数据服务,随着3G时代的到来,电信行业已经成为了数据密集型行业,用户数据的不断更新,对于交换机系统的实时性要求越来越高,这就需要大幅度提高数据交流的速度。而传统的硬盘数据库由于其I/O等种种瓶颈,无法再满足速度上的需求。为了达到数据能够快速大量的存储的要求,内存数据库(MMDB)随之产生内存数据库将工作版本放到内存中,由于数据库中的读、取操作都是在内存中进行,并且在内存中实现对数据的管理,内存中的数据读写速度要比磁盘高出几个数量级,将数据保存在内存中相比从磁盘上访问数据,在大量存取实时数据时,不但解决了数据库中CPU和磁盘I/O之间的主要矛盾,更能够提高应用性能。本文结合移动通讯网络管理系统,深入剖析了内存数据库对外部的数据采集以及对内部数据的存储和管理,研究了内存数据库通讯接口的实现,以及内存数据库内部的理论知识和关键技术,包括内存数据库的存储管理,内存数据库的索引,事物处理,内存数据库的碎片处理以及数据缓存等。由于内存数据库存储大量从各网元系统采集的数据,因此需要与各种网元系统进行连接,这就需要内存数据库提供对外接口,用以采集汇总各种网元数据。由于移动网络的庞大,网元设备繁多,因此提供的接口也各有不同,总结下来,大约分为以下三种接口:Telnet接口,Socket接口和Corba规范接口,因此要分别于这些接口进行通讯,采集数据。本文内存数据库的对外接口部分,分别设计了这三种接口的实现方法。根据系统设计的要求,该内存数据库提供以下功能:外部通信接口,线程管理功能,消息队列管理,数据定义(表、索引、队列等),数据操作(数据的插入、删除、修改、查询)。本文设计实现的内存数据库管理系统满足了电信网管系统中需要的”实时、稳定、灵活”的实际要求。

论文目录

  • 摘要
  • ABSTRACT
  • 第1章 绪论
  • 1.1 电信网管系统
  • 1.1.1 背景
  • 1.1.2 目标
  • 1.2 内存数据库子系统
  • 1.2.1 背景
  • 1.2.2 本文目标
  • 第2章 内存数据库对外通讯接口
  • 2.1 电信管理网模型简介以及其逻辑分层
  • 2.1.1 电信管理网模型简介
  • 2.1.2 TMN的逻辑分层
  • 2.2 内存数据库对外公共接口功能描述
  • 2.2.1 公共接口需采集数据描述
  • 2.2.2 公共接口的主要功能
  • 2.3 公共接口具体设计
  • 2.3.1 公共接口管理模式
  • 2.3.2 对应每种接口的实现方案
  • 2.3.3 数据采集对TELNET协议接口连接实现方案
  • 2.3.4 CORBA接口连接实现方案
  • 第3章 内存数据库存储管理设计
  • 3.1 内存数据库和硬盘数据库的区别
  • 3.2 内存数据库的存储管理设计方案
  • 3.2.1 物理文件与内存数据库相结合管理数据存储的内存
  • 3.2.2 使用单向资源队列对象管理数据存储的内存
  • 3.2.3 单向资源队列和内存池相结合来管理数据存储的内存
  • 3.2.4 最佳方案的详细描述
  • 第4章 内存数据库中索引的建立
  • 4.1 索引的概念
  • 4.2 内存数据库的索引原则
  • 4.3 索引的类型
  • 4.4 基于二叉树的索引技术
  • 4.4.1 二叉树的索引技术
  • 4.4.2 AVL树。B-树。T树索引
  • 4.5 本文所使用的索引类型
  • 第5章 内存数据库的整体设计
  • 5.1 内存数据库启动
  • 5.1.1 读取配置文件
  • 5.1.2 分配缓冲区
  • 5.2 内存数据库写入过程
  • 5.2.1 写入双缓存队列
  • 5.2.2 写入内存存储空间
  • 5.3 内存数据库内部管理
  • 第6章 展望及总结
  • 6.1 总结
  • 6.2 展望
  • 参考文献
  • 致谢
  • 学位论文评阅及答辩情况表
  • 相关论文文献

    标签:;  ;  ;  ;  ;  

    内存数据库及其对外接口
    下载Doc文档

    猜你喜欢