关联规则算法在科技查新中的应用研究

论文摘要

科技查新工作是指通过手工检索和计算机检索等手段,运用综合分析和对比等方法,为评价科研立题、成果、专利、发明等的新颖性、先进性和实用性提供文献依据的一种信息咨询服务形式,是为管理部门和科研人员提供决策依据的情报服务。数据挖掘是帮助人们在海量数据中发现信息和知识的工具。近年来数据挖掘技术成了商业智能的核心技术,被广泛应用到了诸多领域。本文主要把数据挖掘中的关联规则算法应用到科技查新工作中,对查新搜集到的电子文档进行关联分析,挖掘出用户真正感兴趣的规则,最终得出更加真实、科学的查新结果。论文深入了解了科技查新工作的具体流程,掌握了对文献进行综合分析的具体方法;重点研究了关联规则的挖掘算法,并将关联规则中典型的Apriori算法运用于查新分析工作中使之得以实现。主要进行了以下几方面的工作:①在众多的网络数据库中选定了CNKI网络数据库作为实验数据库搜索查新的对象。并以“数据挖掘”作为关键字查询搜索,搜集了部分相关文献并以CNKI提供的下载方式下载了文献的部分标引数据。②把搜集下载到的文献数据通过简单处理保存到Excel表中,再导入到SQL数据库中,对其进行清洗、集成、和转换,把文本数据替换成字符型数据。使数据通过预处理后整理成为可以进行数据挖掘操作的数据格式。③设计并构建了查新系统的总体结构,着重研究了查询分析子系统的各个模块功能。并将Apriori算法应用于规则挖掘模块,对数据集进行关联挖掘。根据给定的最小支持度(min_sup),在待挖掘数据库中找出所有频繁项集,根据给定的最小置信度(min_conf),由频繁项集产生强关联规则。最后,论文通过将关联算法应用于查询分析中,证明了此算法对科技查新领域中的数据分析工作具有一定的实用性。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 论文选题及研究意义
• 1.1.1 引言
• 1.1.2 问题的提出
• 1.1.3 课题研究的意义和目的
• 1.2 我国科技查新机构的现状及其查新意义
• 1.3 数据挖掘的现状及应用领域
• 1.3.1 数据挖掘技术的研究现状
• 1.3.2 数据挖掘技术的应用领域
• 1.4 本文研究的主要内容
• 1.5 本文的组织结构
• 2 数据挖掘技术
• 2.1 数据挖掘的概述
• 2.1.1 数据挖掘的定义
• 2.1.2 数据挖掘的任务
• 2.1.3 数据挖掘与传统分析方法的区别
• 2.2 数据挖掘工作流程
• 2.2.1 数据挖掘的对象
• 2.2.2 数据准备
• 2.2.3 挖掘知识和信息
• 2.2.4 模式的解释和评价
• 2.3 数据挖掘的主要方法
• 2.4 数据挖掘的应用研究
• 2.4.1 数据挖掘的典型应用
• 2.4.2 数据挖掘带来的效益
• 2.5 本章小结
• 3 关联规则挖掘
• 3.1 关联规则相关介绍
• 3.1.1 基本概念
• 3.1.2 挖掘步骤
• 3.1.3 关联规则的应用领域
• 3.2 频繁模式挖掘算法
• 3.2.1 APRIORI 算法
• 3.2.2 FP-GROWTH 算法
• 3.2.3 CLOSET 算法
• 3.3 由频繁模式生成关联规则的方法
• 3.4 关联规则扩展
• 3.4.1 多层次关联规则
• 3.4.2 多维关联规则
• 3.4.3 关联规则中的相关分析
• 3.4.4 基于约束的关联规则
• 3.5 本章小结
• 4 查新分析系统的设计
• 4.1 相关研究
• 4.1.1 WEB 文本挖掘
• 4.1.2 词频分析法
• 4.1.3 WEB 文本挖掘与词频分析比较
• 4.1.4 文本数据挖掘
• 4.2 查新信息资源的概况
• 4.2.1 电子出版物
• 4.2.2 各类型数据库
• 4.2.3 INTERNET 网上信息资源
• 4.3 查新分析系统设计
• 4.3.1 问题的提出
• 4.3.2 查新系统的业务流程
• 4.3.3 查新系统的总体结构
• 4.4 关联规则在资料分析子系统中的实现
• 4.4.1 数据获取
• 4.4.2 预处理数据
• 4.4.3 预处理与变换
• 4.4.4 数据挖掘
• 4.4.5 规则的发现
• 4.4.6 对查新分析的意义
• 4.5 本章小结
• 5 结论
• 5.1 论文总结
• 5.2 工作展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文目录