论文摘要
数据集成要解决的首要问题就是如何有效、及时地检测信息源的增量数据。增量数据检测方法有很多种,本文重点研究并实现了基于快照差分技术的增量数据检测方法。该方法对信息源的实现机制没有依赖,通用性较强,适应范围较广。首先,论文给出快照差分问题的形式化描述,介绍了Sort Merge、Partition Hash这两种传统快照差分算法,并分析其算法代价,指出提升算法效率的方向。接着,提出一种基于数据指纹的快照差分算法,引入了信息摘要的思想来提高算法效率,并对该算法的局限性和正确性进行理论分析。该算法通过MD5算法计算记录的数据指纹,借助数据指纹比较替代记录全部字段比较,与传统快照差分算法相比,基于数据指纹的快照差分算法大大减少了比较的数据量和输入输出的数据量。然后,在本课题所研究的数据集成系统中实现了快照差分模块和文中所述的三种快照差分算法,并对相关数据结构、模块组织结构、处理流程进行了详细描述。同时通过不同大小的数据集对模块中所实现的三种快照差分算法与利用数据库系统自身提供的集合差操作来检测增量的方法进行实验比较,总结了不同算法的检测效率和适用范围。最后,将所实现的基于快照差分技术的增量数据检测方法部署到电信企业经营信息集成支撑平台中,实现增量数据的自动抽取功能。
论文目录
相关论文文献
- [1].一种面向网络安全实验平台的场景快照方法[J]. 通信技术 2020(02)
- [2].从快照到街拍[J]. 人像摄影 2011(11)
- [3].世博快照[J]. 建筑知识 2010(04)
- [4].自助快照亭 迎合忙碌都市人[J]. 生意通 2010(07)
- [5].快照服务的性质及其纳入合理使用之路径[J]. 中国版权 2015(03)
- [6].快照集 世界与艾略特·厄威[J]. 数码摄影 2015(12)
- [7].数据网格中的快照管理及其在电子政务中的应用[J]. 科技资讯 2008(06)
- [8].Windows崩溃不用慌,系统快照解您忧[J]. 网友世界 2011(07)
- [9].高效数据快照方法设计[J]. 微处理机 2008(04)
- [10].一种在存储子系统中实现依赖快照的技术[J]. 计算机工程与应用 2011(05)
- [11].百年前的快照[J]. 影像视觉 2011(05)
- [12].面向更新的空间目标快照差分类与形式化描述[J]. 测绘学报 2012(01)
- [13].基于带外存储虚拟化的逻辑卷高性能快照[J]. 计算机研究与发展 2012(03)
- [14].强快照与强提交读隔离的多键云事务实现方法[J]. 计算机科学与探索 2011(09)
- [15].微技巧 网络[J]. 电脑爱好者 2012(19)
- [16].快照宝镜 找回自己丢失的帖子[J]. 电脑迷 2009(21)
- [17].基于集群虚拟化的高精度快照的设计与实现[J]. 通信学报 2009(02)
- [18].基于时空快照数据库的时间序列预测[J]. 计算机工程与应用 2008(03)
- [19].一种改进的CDP快照方法[J]. 信息安全研究 2018(03)
- [20].整体数据存储技术在EMTDC快照功能中的应用[J]. 工业控制计算机 2014(05)
- [21].精确授时系统中快照数据的缓存与采集[J]. 雷达科学与技术 2013(05)
- [22].拍摄中国春节的“瞬间快照”[J]. 对外传播 2011(04)
- [23].基于变异MD5的快照差分算法[J]. 微计算机应用 2010(12)
- [24].一种快速的差异备份方法[J]. 计算机工程 2008(11)
- [25].车轮错觉的离散快照理论[J]. 心理研究 2018(03)
- [26].虚拟快照? 一招备份VMware系统[J]. 电脑爱好者 2009(11)
- [27].基于缓存快照的DNS容灾方法研究与实现[J]. 网络安全技术与应用 2018(10)
- [28].一种高效的虚拟机磁盘快照系统[J]. 电脑编程技巧与维护 2015(10)
- [29].一种改进快照概念和物理布局以提升LVM性能的方法[J]. 计算机光盘软件与应用 2012(08)
- [30].基于快照隔离的分布式数据库同步协议研究与实现[J]. 计算机应用研究 2012(08)