基于特征优选的数据清洗方法研究

论文摘要

现在的社会已经进入了信息时代,正确的决策已成为企业成败的关键。为此很多企业纷纷建立自己的数据仓库,为进一步挖掘数据信息作准备,为企业决策提供有用信息。数据仓库的数据一般来自于多个相对独立的业务系统,由于数据录入错误、语义表示不一致、拼写错误等原因,数据仓库中的原始数据往往存在很多问题,这将直接影响决策的正确性,所以必须对原始数据进行清洗。而数据清洗的一个关键环节就是相似重复记录的检测,数据库中的相似重复记录指的是那些客观上表示现实世界同一实体,但由于在格式和拼写上有差异而导致数据库管理系统不能正确识别的记录。本文首先阐述了论文的研究背景及意义,介绍了数据清洗的国内外研究现状,数据清洗的相关概念及数据清洗的必要性,并论述了数据清洗的原理,数据清洗基本流程以及数据清洗方法,分析研究了重复记录清洗技术及预处理技术。重点对相似重复记录检测方法做了深入研究,提出一种基于属性特征优选的相似重复记录检测方法。该方法先选择关键字段或字段某些位,根据字符的区位码,利用分组思想将大数据集分割成多个小数据集；再根据属性特征优选算法在各个小数据集中进行属性优选,选出具有代表性的属性；最后根据属性权重,利用字段匹配技术对相似重复记录进行检测,为避免关键字选择不当而造成记录漏查问题,引入多趟检测技术。实验表明该方法具有较好的检测精度和时间效率。在分析和研究了多种清洗算法和清洗系统框架的基础上,本文提出了一种数据清洗系统框架,并且对框架中各模块的功能及清洗流程进行详细描述。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究的背景及意义
• 1.2 数据清洗现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 数据清洗存在的问题
• 1.4 数据清洗的必要性
• 1.5 本文的研究内容与章节安排
• 1.6 本章小结
• 第二章 数据清洗关键技术介绍
• 2.1 数据清洗定义
• 2.2 数据清洗的原理及方法
• 2.2.1 数据清洗原理
• 2.2.2 数据清洗方法
• 2.3 数据清洗基本流程
• 2.4 数据清洗的评价标准
• 2.5 预处理技术
• 2.5.1 属性选择
• 2.5.2 初步聚类
• 2.5.3 分配属性权值
• 2.6 本章小结
• 第三章 数据清洗算法研究
• 3.1 异常记录检测算法
• 3.1.1 统计学算法
• 3.1.2 关联规则
• 3.1.3 聚类算法
• 3.1.4 算法分析
• 3.2 重复记录清洗算法
• 3.2.1 重复记录的定义
• 3.2.2 重复记录匹配算法
• 3.2.3 重复记录检测算法
• 3.2.4 衡量重复记录清洗算法效率的度量标准
• 3.3 本章小结
• 第四章 基于特征优选的相似重复记录检测方法与实现
• 4.1 数据清洗系统框架
• 4.1.1 系统功能模块分析
• 4.1.2 系统清洗流程
• 4.2 相似重复记录清洗方法及实现
• 4.2.1 总体算法思想
• 4.2.2 计算汉字区位码
• 4.2.3 记录分组算法
• 4.2.4 特征优选方法
• 4.2.5 相似重复记录的检测
• 4.3 本章小结
• 第五章 实验结果及分析
• 5.1 查准率和查全率对比
• 5.2 运行时间对比
• 5.3 本章小结
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 工作展望
• 致谢
• 参考文献
• 附录A 攻读学位期间发表论文