中国科技论文在线文献的数据预处理研究

论文摘要

本文主要是针对中国科技论文在线文献的数据预处理工作,中国科技论文在线首发论文库存在将近4万条数据,面对海量的文献数据,对其进行数据挖掘,理解背后隐藏的关于所发表的论文文献以及作者的本质特征,发掘有价值的知识是必要的。然而对这些数据进行预处理,提高数据的质量,是这一目标实现的前提。论文通过对中国科技论文在线首发论文库的数据进行预处理可以为以后的数据挖掘提供高质量的数据。本文主要是对属性和属性取值的预处理,对属性的预处理主要是指属性的删除和属性的构造,对属性取值预处理主要是进行数据清理、变换、归约和离散化。数据清理是指对空缺值、不一致数据等进行处理,把原始数据变换成适合数据挖掘的形式,对数据进行数据归约从而减少数据挖掘时的数据量。文中还运用了聚类分析和主成分分析的方法,目的都是为其后的数据挖掘提供高质量的数据。本文通过对中国科技论文在线的原始数据进行预处理得到了适用于数据挖掘的数据,所得到的数据可以直接用于进行中国科技论文在线文献的数据挖掘。

论文目录

• 内容提要
• 第1章 绪论
• 1.1 问题的提出
• 1.1.1 问题研究的必要性
• 1.1.2 问题研究的意义
• 1.2 研究现状
• 1.3 论文的主要内容、结构
• 1.3.1 论文研究的主要内容
• 1.3.2 论文的研究框架
• 1.4 本章小结
• 第2章 数据预处理的任务
• 2.1 数据预处理步骤
• 2.2 属性预处理
• 2.3 数据清理
• 2.3.1 缺失值的处理
• 2.3.2 噪声数据的处理
• 2.3.3 不一致数据的处理
• 2.3.4 重复数据的处理
• 2.4 数据集成和变换
• 2.4.1 数据集成
• 2.4.2 数据变换
• 2.5 数据归约和离散化
• 2.6 本章小结
• 第3章 中国科技论文在线文献的属性预处理
• 3.1 中国科技论文在线文献的属性描述
• 3.2 中国科技论文在线文献的属性删除
• 3.3 中国科技论文在线文献的属性构造
• 3.4 本章小结
• 第4章 中国科技论文在线的数据清理和变换
• 4.1 中国科技论文在线的属性取值描述
• 4.2 中国科技论文在线文献的数据清理
• 4.2.1 作者属性的数据清理
• 4.2.2 文献属性的数据清理
• 4.3 中国科技论文在线文献的数据变换
• 4.4 本章小结
• 第5章 中国科技论文在线的数据归约和离散化
• 5.1 数据归约
• 5.1.1 维度压缩
• 5.1.2 数据压缩
• 5.2 数据离散化
• 5.2.1 著者人数的离散化
• 5.2.2 基金支持个数的离散化
• 5.2.3 综合评价星级的离散化
• 5.2.4 评论数的离散化
• 5.3 本章小结
• 第6章 结论与展望
• 6.1 研究工作总结
• 6.2 研究的不足与展望
• 参考文献
• 致谢
• 摘要
• ABSTRACT