基于多Agent的数据清洗系统的研究与实现

论文摘要

当前,企业信息化的程度要求越来越高,其中一个重要的方面就是企业的数据的管理,根据“进去的是垃圾,出来的也是垃圾(garbage in, garbage out)”这条原理,为了支持正确决策,就要求所管理的数据可靠,没有错误,能准确地反映企业的实际情况,因此数据清洗正在获得越来越多的关注,因为数据清洗是提高数据质量的重要途径,但是目前的数据清洗系统还面临许多问题,采用Agent技术是解决所面临问题的有效方法。Agent技术源于人工智能,一般认为Agent是一个自治的实体,它处于特定的环境中,有自己的目标,为了完成目标可以灵活、自主地适应环境,同时,Agent的动作反过来同样影响环境的状态。一般来说,单个Agent完成的功能是有限的,所以,多Agent系统的应用更加广泛。在多Agent系统中,Agent之间必须进行必要的交流,交换有关环境的信息,通过协商与协作来实现系统的功能。本文通过对数据清洗现状进行分析给出了当前数据清洗系统存在的问题：智能性差、缺少交互、缺少数据分析功能、对于分布式清洗和实时清洗的处理能力有限等；然后从Agent的基本理论出发,介绍了Agent的定义和一些主要特性,接下来分析论证了采用Agent技术解决以上问题的可行性。在此基础上本文提出了基于多Agent的数据清洗模型和框架,设计并实现了多Agent数据清洗系统,通过对系统实现过程的详细叙述,展示了如何将Agent技术应用于数据清洗领域。把Agent技术的思想和方法用于数据清洗,增加了数据清洗的智能性,扩展了系统的交互能力,减少了用户的重复性工作,提高了数据清洗的效率。本文最后将设计实现的数据清洗系统应用于海洋数据环境中。通过具体的应用验证了数据清洗系统对数据的正确性、有效性、完整性与一致性都有良好的检测与控制能力,由此证明了基于多Agent的数据清洗系统的实用性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 数据清洗的意义
• 1.3 数据清洗现状分析
• 1.3.1 数据清洗研究调查
• 1.3.2 数据清洗工具调查
• 1.4 目前数据清洗系统的不足
• 1.5 Agent技术简介
• 1.6 Agent技术在数据清洗中的作用
• 1.7 本文研究工作
• 1.8 论文组织结构
• 第二章 基于多AGENT的数据清洗模型
• 2.1 O-MaSE工程方法学
• 2.2 系统需求分析
• 2.3 目标模型的建立
• 2.4 Agent模型的建立
• 2.5 本章小结
• 第三章 多AGENT数据清洗框架的设计
• 3.1 多Agent数据清洗框架
• 3.2 框架中Agent的分析与设计
• 3.2.1 管理协调Agent
• 3.2.2 数据源Agent
• 3.2.3 数据分析Agent
• 3.2.4 执行清洗Agent
• 3.2.5 元数据管理Agent
• 3.2.6 人机界面Agent
• 3.3 框架中Agent通信的设计
• 3.3.1 FIPA的Agent通信语言
• 3.3.2 数据分析Agent与数据源Agent的通信
• 3.3.3 执行清洗Agent与元数据管理Agent的通信
• 3.3.4 数据分析Agent与用户的通信
• 3.4 本章小结
• 第四章 多AGENT清洗系统的实现和测试
• 4.1 系统的开发环境与实现概述
• 4.2 系统主要Agent的实现
• 4.3 系统主要功能模块的实现
• 4.3.1 行为模块的实现
• 4.3.2 通信模块的实现
• 4.4 系统测试
• 4.5 本章小结
• 第五章 海洋数据仓库上应用案例
• 5.1 案例描述
• 5.2 部分清洗示例
• 5.3 清洗效果评估
• 5.4 数据清洗系统界面展示
• 5.5 本章小结
• 第六章 结论和下一步工作
• 6.1 工作总结
• 6.2 下一步工作
• 参考文献
• 致谢
• 攻读硕士期间参与的项目