存储系统中多维元数据索引的高效更新方法研究

存储系统中多维元数据索引的高效更新方法研究

论文摘要

随着信息量的增长,大规模存储系统的存储容量从以前的TB(Terabyte)级上升到PB(Petabyte)级甚至EB(Exabyte)级,使得查找和处理文件变得越来越困难。现有的基于层次目录树结构的数据存储系统的扩展性和功能性不能有效地满足大规模文件系统中快速增长的数据量和复杂元数据查询的需求。有效地对存储系统元数据进行组织,比如建立各种索引结构,可以提供各种复杂的查询服务,帮助用户更好地使用文件系统。提出了使用结合R树和布隆过滤器索引来支持多维元数据的索引功能的结构,以支持多种复杂的元数据查询,如点查询、范围查询、K最邻近查询和模糊查询等。由于现有的关于R树的研究主要考虑静态数据,只关注高效的查询处理,R树本身的更新性能较低,特别是应用在海量文件元数据频繁更新的环境下,直接对索引的修改会产生大量的磁盘操作并可能引起索引结构的不平衡。研究的主要内容是结合多版本(versioning)的思想,提出一个基于R树索引结构的更新策略,将一批更新数据看作一个新增的版本。减少更新操作的次数,解决热点数据反复更新问题;同时批量操作数据的更新;使用多个版本结构,利用数据的局部特性优化更新算法。通过与已有的更新算法进行比较和分析,更新策略采用缓存更新数据的方法,可以有效地提高更新效率,减少更新操作的时间代价;同时点查询效率也有所提高,而范围查询效率有略微的下降。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  • 1.1 课题背景
  • 1.2 相关工作
  • 1.3 本文研究的主要内容
  • 2 多维元数据索引结构
  • 2.1 R 树结构简介
  • 2.2 布隆过滤器结构简介
  • 2.3 RBF 索引结构及特点
  • 2.4 本章小结
  • 3 多维元数据索引更新系统的设计与实现
  • 3.1 更新系统总体结构
  • 3.2 建立版本模块
  • 3.3 数据更新模块
  • 3.4 本章总结
  • 4 基于更新系统的索引查询功能的设计与实现
  • 4.1 点查询
  • 4.2 范围查询
  • 4.3 K 最邻近查询
  • 4.4 本章小结
  • 5 性能测试与分析
  • 5.1 点查询延迟
  • 5.2 范围查询延迟
  • 5.3 更新性能比较
  • 5.4 存储空间
  • 5.5 本章小结
  • 6 总结
  • 致谢
  • 参考文献
  • 附录
  • 相关论文文献

    • [1].基于本体的电子文件元数据[J]. 中国档案 2020(03)
    • [2].保存元数据的发展趋势研究[J]. 图书馆杂志 2016(06)
    • [3].气象传输交换控制元数据的设计与实现[J]. 计算机技术与发展 2019(07)
    • [4].档案元数据研究现状简析[J]. 中山大学研究生学刊 2018(04)
    • [5].基于预测的输变电工程元数据分级索引算法[J]. 计算机工程与设计 2019(11)
    • [6].资源建设需要推进元数据战略[J]. 数字图书馆论坛 2017(11)
    • [7].浅析元数据概念在档案领域中的发展[J]. 机电兵船档案 2015(01)
    • [8].档案管理视角下的电子文件元数据[J]. 中国档案 2014(04)
    • [9].国内外描述性元数据研究综述[J]. 四川图书馆学报 2013(04)
    • [10].论电子文件中心元数据方案的管理策略[J]. 档案学通讯 2012(06)
    • [11].元数据在知识管理中的应用[J]. 辽宁师范大学学报(社会科学版) 2011(03)
    • [12].数据仓库中多维元数据的组织研究[J]. 信息与电脑(理论版) 2010(12)
    • [13].元数据应用规范研究[J]. 现代图书情报技术 2010(12)
    • [14].OCLC为出版商启动元数据服务[J]. 现代图书情报技术 2009(11)
    • [15].基于多维度的元数据检索算法研究与实现[J]. 电子设计工程 2020(19)
    • [16].基于本体的电子文件元数据:智慧档案馆建设的关键与核心[J]. 山西档案 2019(05)
    • [17].电子发票核心元数据构成与捕获研究[J]. 北京档案 2018(08)
    • [18].也谈“元数据”[J]. 中国统计 2012(06)
    • [19].用户元数据初探[J]. 图书馆杂志 2010(07)
    • [20].元数据在图书馆音像资料管理中的应用[J]. 科技信息 2010(27)
    • [21].数字资源的元数据自动获取系统[J]. 苏州大学学报(自然科学版) 2009(01)
    • [22].长期保存元数据在文物数字化保护项目中的应用[J]. 数字图书馆论坛 2020(06)
    • [23].元数据的多角度诠释[J]. 档案 2019(05)
    • [24].布鲁姆分类学对提高大学生元数据素养的指导意义[J]. 吉林省教育学院学报(下旬) 2014(01)
    • [25].电子档案元数据分开管理研究[J]. 中国档案 2014(09)
    • [26].数字图书馆的元数据方案及互操作研究[J]. 图书馆学刊 2011(02)
    • [27].中美高校元数据课程的现状与启示[J]. 大学图书馆学报 2011(05)
    • [28].浅析元数据在档案领域的应用[J]. 兰台世界 2009(03)
    • [29].数字图书馆中基础管理性元数据框架研究[J]. 图书馆杂志 2008(06)
    • [30].企业信息化元数据管理方法研究[J]. 中国信息化 2018(04)

    标签:;  ;  ;  ;  ;  

    存储系统中多维元数据索引的高效更新方法研究
    下载Doc文档

    猜你喜欢