从数据集中挖掘频繁函数集的研究和应用

论文摘要

数据挖掘是当前数据库研究开发和应用的热点。函数挖掘是从科学数据中发现有效的函数关系,它是数据挖掘技术的重要研究方向。传统的函数挖掘本身具有很多局限性,在实际问题中难于应用:(1)挖掘目标是单个函数,但单个函数对现实世界中规律的描述能力很弱;(2)它难以被应用在复杂的数据集上。为了弥补这些缺陷,本文做了如下探索: (1) 对函数挖掘的概念进行了扩展,提出了新的、描述能力更强的函数挖掘对象——频繁函数集(Frequent Function Set , FFS),这一新概念旨在描述在指定数据集上具有一定支持度的函数关系簇。(2) 分析了频繁函数集的性质。(3) 提出了可配置的FFS 挖掘算法——Configurable Frequent Function Set Discovering Algorithm (CFFSDA), 它灵活,可以配置使用多种搜索算法。(4) 分析CFFSDA 的不足,进一步提出了可以满足用户不同兴趣需求的基于约束的频繁函数集(Constrained FFS)和相应的挖掘框架。(5) 基因表达式编程(Gene Expression Programming ,GEP)是函数关系挖掘的新方法,本文利用GEP 配置实化了CFFSDA,并且在GEP 研究中首次采用了精度阈值队列策略(Precision Threshold Queue,PTQ),该策略有效地提高了算法的成功概率。(6) 探索了FFS 在数据库查询优化和分类中的应用。举例说明了利用FFS进行查询优化,在其WHERE 子句有等值条件和某些比较条件的SQL选择语句中,比传统查询优化策略有更好的效率。(7) 通过实验证实了FFS 的强大描述能力和FFS 在分类中的应用。同时也证实了PTQ 的有效性,它使算法在挖掘高精度复杂函数时的成功概率提高了55 倍。

论文目录

• 目录
• 0. 引言
• 1. 数据挖掘综述
• 1.1 数据挖掘的重要意义
• 1.2 数据挖掘的内涵
• 1.3 数据挖掘功能
• 1.3.1 概念/类描述:特征和区分
• 1.3.2 关联分析
• 1.3.3 分类和预测
• 1.3.4 聚类分析
• 1.4 函数挖掘
• 1.4.1 一元线性回归模型
• 1.4.2 非线性回归
• 1.4.3 其它回归模型
• 2. 频繁函数集
• 2.1 传统函数挖掘的局限性
• 2.2 频繁函数集
• 2.2.1 基本概念
• 2.2.2 频繁k-元函数集FFSk性质
• 2.2.3 频繁函数子集
• 2.2.4 频繁函数集挖掘——在何种数据上进行?
• 2.2.5 可配置的FFS挖掘算法——CFFSDA
• 2.3 基于约束的频繁函数集
• 2.3.1 FFS上的约束
• 2.3.2 基于约束的频繁函数集
• 2.3.3 基于约束的频繁函数集挖掘框架
• 3. 基于基因表达式编程的频繁函数集挖掘算法
• 3.1 GEP算法简介
• 3.2 精度阈值队列
• 3.3 配置GEP的KCFFSD
• 4. 频繁函数集的应用
• 4.1 频繁函数集在查询优化中的应用
• 4.1.1 查询处理简介
• 4.1.2 代价模型
• 4.1.3 查询代价的度量
• 4.1.4 使用例表的说明
• 4.1.5 等值查询优化比较
• 4.1.6 其它类型的等值查询语句
• 4.1.7 涉及比较的选择
• 4.2 FFS在分类中的应用
• 5. 实验与性能分析
• 5.1 频繁函数集挖掘
• 5.2 利用FFS进行分类
• 5.3 时序数据上的FFS挖掘
• 5.4 采用精度阈值队列和采用单一精度阈值的比较
• 5.4.1 实验数据集说明和参数设置
• 5.4.2 实验评估指标
• 5.4.3 实验结果分析
• 6. 结束语
• 参考文献
• 本文作者在攻读硕士学位期间发表的文章
• 声明
• 致谢