三维空间数据引擎多级缓存管理技术研究

论文摘要

由于三维空间数据具有结构复杂、类型繁多、数据量庞大、空间分布不均衡、个体对象的差异性以及多细节层次表达的特性。如何有效地实现地上-地下的地理-地质空间数据的一体化存储、管理、分析、处理和应用,是当前地学信息科学领域的前沿课题。三维空间索引、多级缓存与动态调度是解决三维空间数据管理中不同类型的地上地下、室外室内三维空间数据的一体化组织、大规模三维空间数据并行管理的关键技术。在分析已有缓存管理算法和空间数据引擎缓存模块的基础上,论文在充分综合三维空间数据引擎和空间数据库技术等多种信息技术的基础上,结合地质空间数据多源、多类、多量、多维、多尺度、多时态、多主题的特点,兼顾三维空间数据的充分共享及高效利用问题,提出适用于地上地下、室外室内三维空间数据的缓存管理模型,开发出适用于文件系统、关系型数据库管理系统及其集群并行管理系统等三种不同的应用模式的海量三维空间数据调度引擎的多级缓存管理模块。缓存技术一直是提高系统性能的一个重要途径。为了一体化的组织、管理、调度不均匀分布的地上地下、室外室内的三维空间数据,满足三维实时可视化应用的高效数据调度需求,本论文主要对海量三维空间数据引擎数据调度中的多级缓存管理进行相关的探讨。针对三维实时可视化应用的高效数据调度需求,设计一种高效的缓存管理体系,并在三维空间数据管理系统的三维空间数据引擎中实现应用。论文的主要研究内容如下：1)替换算法研究：传统的缓存替换算法判断标准都比较单一,基本上只对一类访问模式有比较好的效果。为了弥补传统替换算法主要是利用对数据块的访问频率或者最近的访问时间为判断标准,不能考虑到数据库运行的实际情况的问题,本文把数据库查询运行的实际执行信息加入考虑,提出了综合查询频率和时间的缓存替换方法。2)实现缓存池及其管理算法：从面向对象的思想入手,将对象类型作为分类依据,分池缓存被调度对象。设计对象关联查询算法,在查询对象时如何进行关联查询、调度,组织成完整对象。3)建立多级缓存：实现服务器/客户端、硬盘/内存/显存多个层次的多级缓存统一管理机制,同时提供针对支持文件系统和典型商业数据库管理系统（如Oracle 11g数据库管理系统）及其集群并行管理系统三种不同的应用模式的统一访问接口。4)研究自适应缓存机制：将缓存数据使用与缓存设置调整在不同的线程中实现,通过查询统计结合系统资源使用情况等自适应得进行缓存动态调整,使缓存具有高效的性能,减少系统资源的争夺。5)预调度算法研究：结合缓存对象的空间特性和空间索引的特点,同时兼顾系统的内存容量和CPU的计算能力,设计出适用于三维空间数据的自适应预调度算法。综上所述,本文针对多细节层次真三维空间数据自适应可视化的需求以及大规模三维空间实体数据实时可视化过程中的I/O瓶颈和资源竞争问题,研发了基于三维空间数据内容的自适应多级缓存管理体系,将三维空间数据的实时调度与预调度进行有机结合,综合系统资源实施使用情况,采用多线程机制对缓存管理进行适时调整,有效提高三维空间数据查询的命中效率,减小对系统资源的争夺,以满足无缝集成可视化高效的数据请求需要。其中,主要的创新点为：1)基于对象缓存池的缓存管理：缓存管理技术将对象类型作为分类依据,分池缓存被调度对象。采用对象缓存池,解决了单一缓存队列中存放多种类型的数据项,对象查询比对繁琐的问题。基于对象缓存池方式管理缓存数据对象,通过缓存管理类管理所有缓存池,各对象缓存池采用独立的访问管理模式。对象关联查询算法在查询一个对象时对其子对象（或者关联项）进行关联查询、调度,组织成一个完整对象返回。该缓存管理算法可以显著地降低对象调度组织时间,避免了对象模型无法动态组织、统一调度问题。2)自适应缓存调整：按照缓存对象类型进行分缓存池管理,根据缓存项、缓存池查询记录,自适应调整缓存及缓存池设置。提出了基于数据对象频率和时间的替换算法,依据数据库查询运行的实际执行信息、系统资源使用信息实现缓存替换算法的动态管理、自适应调整。3)空间关系约束下的缓存结构设计：为缓存中的对象建立空间索引树,该方法将空间因素加入缓存,扩展了传统的基于时间和命中率为替换依据的缓存替换算法。可用于强制替换指定空间位置的缓存对象；可以支持基于缓存项聚类的预调度算法。本文所取得的这些研发成果,已经成功地在国家高技术研究发展计划（863计划）地球观测与导航技术领域重点项目相关课题联合研发的GeoScope系统平台上实现,并在武汉市国土与城市规划局的城市规划管理信息系统中得以成功应用。本项研究的成果可满足室内外寻径、漫游、储量估算、油气模拟、地质分析等需要对海量三维空间数据进行快速调度的应用。

论文目录

• 作者简介
• 摘要
• ABSTRACT
• 第一章 绪论
• §1.1 研究的背景、目的和意义
• §1.2 国内外研究现状
• 1.2.1 缓存替换算法
• 1.2.2 缓存管理技术
• 1.2.3 预调度策略
• 1.2.4 空间数据引擎
• §1.3 发展趋势
• §1.4 研究内容与技术路线
• 第二章 三维空间数据缓存管理技术
• §2.1 三维空间数据的特性
• §2.2 多级缓存设计
• 2.2.1 ACE通信环境
• 2.2.2 C/S多级缓存架构
• 2.2.3 内存/硬盘缓存
• §2.3 缓存替换算法设计
• 2.3.1 缓存替换算法研究
• 2.3.2 三维空间引擎缓存替换算法
• §2.4 自适应缓存管理
• 2.4.1 缓存池动态调整
• 2.4.2 缓存池自维护
• §2.5 三维空间数据缓存管理算法设计
• §2.6 试验与分析
• 2.6.1 缓存替换算法试验
• 2.6.2 多级缓存试验
• 第三章 基于缓存数据的预调度算法
• §3.1 预调度技术研究
• §3.2 空间数据预调度算法设计
• 3.2.1 基于查询频率的自适应预调度方法
• 3.2.2 基于空间关系的自适应预调度方法
• §3.3 空间关系约束的缓存替换算法扩充
• §3.4 试验与分析
• 第四章 三维空间数据引擎缓存管理模块开发与应用
• §4.1 三维空间数据引擎组件
• 4.1.1 空间数据库引擎研究
• 4.1.2 三维空间数据库引擎组件
• §4.2 多级缓存管理模块设计
• §4.3 自适应缓存管理与空间数据预调度关键技术
• 4.3.1 数据库连接池设计
• 4.3.2 多线程设计
• §4.4 空间数据引擎中缓存管理模块的开发及应用
• §4.5 试验与分析
• 第五章 总结与展望
• §5.1 结论
• §5.2 后续研究工作和展望
• 致谢
• 参考文献