面向应用的对象存储设备的数据组织研究

论文摘要

随着数据重要性的不断提高,现有计算机系统的研究重点正在逐渐从以计算为中心转变为以存储为中心,从而对存储系统的性能、可靠性和可管理性等方面提出了更高的需求。利用对象存储技术,结合不同应用的存储和访问特点来优化数据组织,可以充分发挥每个存储设备的自主性和智能性,能够很好的在设备级提高存储的服务质量,来满足不同应用的存储服务需求。通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储设备MOSD(Multimedia Object Storage Device)的数据组织结构。该结构采用两层数据组织:下层采用RAID5的方式存储冷数据,磁盘利用率高;上层放常用的热点数据,通过将不同对象存放到不同磁盘上,减少不同用户的访问冲突,可以提高多用户的并发访问性能。采用这种两层对象数据组织方式,保证了系统的性能比较高,同时也具有较高的磁盘空间利用率。通过模拟测试,在多用户并行访问的情况下,MOSD的性能平均比RAID0高90%到550%。通过对Web存储性能的分析,提出一种Web对象存储设备WOSD(Web ObjectStorage Device)的数据组织结构。系统采用两层存储方式:上层保留一定的存储空间做磁盘缓存,下层为正常的用户数据存储区域。设计了一种Web对象的关联算法,在系统空闲时,分析记录的trace信息,采用滑动窗口方式统计trace中各个对象的关联度(只有在滑动窗口内的对象具有关联性);然后按照关联度计算不同的关联集合,并将不同的关联集合组织到上层的磁盘Cache中;这样既减少了访问不同热点数据的磁盘寻道距离,又减少访问相关热点数据的寻道次数,从而可以改善存储系统的I/O性能。实验表明,采用WOSD结构后,系统性能提高了20%到25%。通过对现有不同存储系统的容错能力进行分析,提出一种高可用对象存储设备HAOSD(High Availability Object Storage Device)的数据组织结构。HAOSD系统分两层:上层存储的对象采用多备份方式来实现高可靠性,保证了系统的高性能,但是磁盘利用率比较低;下层采用RAID5、RAID6以及RAID Blaum等不同的容错编码来实现多盘容错功能,磁盘利用率较高,但性能开销大。新对象和热点对象放上层,从而保证系统的性能。下层主要用来放大量的冷对象,磁盘利用率比较高。通过仿真实验表明,HAOSD在保证可靠性的情况下,有很好的访问性能,在1000Mbps以太网的环境下,最大读写性能可以达到104MB/s。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 对象存储技术
• 1.2 面向多媒体应用的存储技术
• 1.3 面向Web应用的存储技术
• 1.4 数据副本的组织策略
• 1.5 本文研究目的和主要内容
• 1.6 课题的来源
• 2 面向多媒体应用的对象数据组织
• 2.1 前言
• 2.2 多媒体存储特点分析
• 2.3 多媒体视频流的性能分析
• 2.4 多媒体视频流的模型分析
• 2.5 MOSD系统的数据组织设计
• 2.6 MOSD系统的性能分析
• 2.7 MOSD数据组织的设计思路
• 2.8 多媒体网络文件系统的Cache算法设计
• 2.9 性能测试与结果分析
• 2.10 小结
• 3 面向Web应用的对象数据组织
• 3.1 前言
• 3.2 Web存储性能分析
• 3.3 WOSD系统的数据组织设计
• 3.4 WOSD系统的结构设计
• 3.5 WOSD关联算法设计
• 3.6 性能测试与结果分析
• 3.7 小结
• 4 高可用的对象数据组织
• 4.1 前言
• 4.2 多副本的高可用对象数据组织
• 4.3 HAOSD系统的数据组织设计
• 4.4 HAOSD系统的下层数据组织
• 4.5 HAOSD数据组织的设计思路
• 4.6 性能测试与结果分析
• 4.7 小结
• 5 原型系统的实现
• 5.1 引言
• 5.2 系统结构设计
• 5.3 主要程序流程
• 5.4 测试工具的实现
• 5.5 小结
• 6 全文总结
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文目录