论文题目: 非线性维数约减算法中若干关键问题的研究
论文类型: 博士论文
论文专业: 计算机应用技术
作者: 石陆魁
导师: 何丕廉
关键词: 非线性维数约减,评价模型,增量式算法,分类,聚类
文献来源: 天津大学
发表年度: 2005
论文摘要: 维数约减是处理多维数据的一个重要步骤,是机器学习中的一个重要研究课题,尤其是非线性维数约减技术已经成为机器学习中的一个研究热点。本文针对非线性维数约减算法中的若干关键问题进行了研究。首先,分析和比较了基于应力函数的评价模型、基于剩余方差的评价模型和基于DY-DX表示法的评价模型,提出了一种基于距离比例方差的评价模型。实验结果表明,利用该模型不但可以评判同一算法在不同参数下的映射效果,而且可以比较不同算法之间的嵌入质量。同时还讨论了如何利用应力函数、剩余方差和距离比例方差来确定邻域参数和低维空间的维数。其次,研究了增量式非线性维数约减算法问题,通过改进增量式ISOMAP算法得到了基于距离保持的增量式算法,提出了基于拓朴保持的增量式算法和基于k近邻投影的增量式算法,这三种算法都可以较为中肯地将训练集之外的样本映射到低维空间中。理论分析和实验结果表明,基于距离保持的增量式算法具有较好的映射质量,基于拓朴保持的增量式算法具有较高的效率,但它们都只是对ISOMAP算法的扩展。而基于k近邻投影的增量式算法同时具有较好的映射质量和较高的计算效率,而且可以作为任一种非线性维数约减算法的扩展。对于含噪声的数据,由于新样本的低维嵌入与训练集的低维坐标无关,基于拓朴保持的增量式算法对噪声不太敏感。而其他两种算法只要在映射训练样本时较好地处理了噪声,就可以忽略噪声的影响。最后,本文讨论了非线性维数约减算法在分类和聚类中的应用。在指纹分类和文本分类中的实验结果表明,通过结合非线性维数约减算法和分类技术,在保证分类精度的前提下,极大地提高了分类算法的执行效率,降低了分类算法的空间需求。对聚类算法的实验结果表明,基于非线性维数约减的聚类算法可以发现任意形状的类,聚类质量明显优于K-均值算法的聚类结果。
论文目录:
中文摘要
ABSTRACT
第一章 绪论
1.1 选题背景
1.2 维数约减的概念
1.3 国内外研究现状分析
1.4 本文的工作和主要创新
1.5 论文组织结构
第二章 典型的维数约减算法
2.1 线性维数约减算法
2.1.1 主成分分析法
2.1.2 因子分析法
2.1.3 多维标度变换法
2.2 非线性维数约减算法
2.2.1 ISOMAP算法
2.2.2 LLE算法
2.2.3 Laplacian eigenmaps算法
2.2.4 SIE算法
2.2.5 四种非线性维数约减算法的比较
2.3 小结
第三章 非线性维数约减算法的评价模型研究
3.1 基于应力函数的评价模型
3.1.1 应力函数
3.1.2 评价模型的有效性检验
3.2 基于剩余方差的评价模型
3.2.1 模型定义
3.2.2 评价模型的有效性检验
3.3 基于DY-DX表示法的评价模型
3.3.1 DY-DX表示法
3.3.2 评价模型的有效性检验
3.4 基于距离比例方差的评价模型
3.4.1 模型的提出
3.4.2 评价模型的有效性检验
3.4.3 对噪声数据的处理
3.5 四种评价模型的比较
3.6 利用评价模型选择邻域参数和嵌入维数
3.6.1 邻域参数的选择
3.6.2 嵌入维数的选择
3.7 小结
第四章 增量式非线性维数约减算法研究
4.1 基于距离保持的增量式（IADP）算法
4.1.1 从最小二乘的角度
4.1.2 从核PCA的角度
4.1.3 从求解特征向量的角度
4.1.4 计算测地线距离
4.1.5 算法复杂性分析
4.1.6 对噪声数据的处理
4.1.7 实验结果
4.2 基于拓朴保持的增量式（IATP）算法
4.2.1 LMDS算法
4.2.2 增量式算法
4.2.3 选择标志点集合
4.2.4 对噪声数据的处理
4.2.5 实验结果
4.3 基于局部线性投影的增量式算法
4.3.1 基于最近邻投影的增量式算法
4.3.2 基于k近邻投影的增量式（IAkNNP）算法
4.3.3 对噪声数据的处理
4.3.4 实验结果
4.4 三种增量式算法的比较
4.5 小结
第五章 非线性维数约减算法的应用研究
5.1 在分类中的应用
5.1.1 基于支持向量机的多类分类器的构建
5.1.2 基于支持向量机和非线性维数约减的多类分类器
5.1.3 指纹分类简介
5.1.4 文本分类简介
5.1.5 实验结果
5.2 在聚类分析中的应用
5.2.1 K-均值聚类算法
5.2.2 改进的ISOMAP算法及与K-均值算法的结合
5.2.3 实验结果
5.3 小结
第六章 结束语
6.1 全文总结
6.2 研究工作展望
参考文献
攻读博士学位期间发表论文和参加科研情况说明
致谢
发布时间: 2007-07-10
相关论文
- [1].基于流形学习的高维空间分类器研究[D]. 谷瑞军.江南大学2008
- [2].维数约减算法研究及其在大规模文本数据挖掘中的应用[D]. 于瑞国.天津大学2008
- [3].流形学习算法及若干应用研究[D]. 王庆刚.重庆大学2009
- [4].高维数据的降维理论及应用[D]. 谭璐.国防科学技术大学2005
- [5].流形学习的理论与方法研究[D]. 王靖.浙江大学2006
- [6].数据降维及分类中的流形学习研究[D]. 刘小明.浙江大学2007
- [7].非监督知识发现过程中若干关键问题研究[D]. 戴维迪.天津大学2005
- [8].流形学习方法理论研究及图像中应用[D]. 黄启宏.电子科技大学2007
- [9].流形学习理论与算法研究[D]. 孙明明.南京理工大学2007
- [10].流形学习及其在模式识别中的应用[D]. 李春光.北京邮电大学2008