论文题目: 支撑矢量机应用的关键技术研究
论文类型: 博士论文
论文专业: 电路与系统
作者: 郑春红
导师: 焦李成
关键词: 统计学习理论,支撑矢量机,模式识别,多类分类问题,模型选择,模型自动选择,泛化性能,模糊逻辑技术,遗传算法,指数编码
文献来源: 西安电子科技大学
发表年度: 2005
论文摘要: 基于数据的机器学习一直是智能系统技术中的一个重要和极为活跃的研究方向和热点,其内容主要为研究如何从观测数据(样本)中发现规律,利用获得的规律对未来数据或无法观测的数据进行预测。包括模式识别、函数拟合及概率密度估计等在内的现有的基于数据的机器学习方法共同的重要理论基础之一就是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有的诸如神经网络等机器学习方法也多是基于此假设。但对于大多数实际问题来说,样本数目往往是有限的,因此一些在理论上很优秀的机器学习方法在实际应用中的表现却可能不尽人意。 统计学习理论(Statistical learning theory,SLT)是一门研究小样本情况下基于数据的机器学习理论的科学,其核心归纳原则为结构风险最小化(Structural risk minimization,SRM)原则。支撑矢量机(Support vector machine,SVM)是统计学习理论中最实用、最年轻的部分,是基于结构风险最小化的普适而有效的统计学习理论最具代表性的新型小样本学习机,是结构风险最小化原则的具体实现。作为统计学习理论中最年轻、最具代表性的核心内容,SVM是机器学习领域研究与应用的热点之一,仍处在不断发展与丰富阶段。 针对支撑矢量机面向实际应用的几个关键问题,展开了相应的研究,主要内容包括下面四个方面:将模糊逻辑技术引入传统的SVM中以加速传统SVM的学习速度及提高其性能;提出了基于遗传算法的SVM模型自动选择方法;系统客观地评价了几种常用的SVM泛化性能指标;提出了一种简单高效的SVM泛化性能指标。主要工作可概括为如下五个创新点: (1)由于在多数支撑矢量机中采用全部数据进行优化计算得到稀疏的支撑矢量,在优化过程中不仅对支撑矢量进行优化,也对非支撑矢量进行优化,大大增加了不必要的计算。将模糊逻辑技术与传统SVM相结合,提出了小样本快速学习的模糊预选支撑矢量机(Fuzzy SVM,FSVM)。通过提出的模糊规则,利用近似SVM(Proximal SVM,PSVM)的快速性在原始数集上预选支撑矢量,然后再利用标准SVM在训练样本数大大降低的预抽取的数集上获得通常意义的稀疏的支撑矢量。不但提高了SVM的学习速度,同时保持其原有的较好的泛化能力。人造数据与Iris、Wine和Soy基准数集的实验结果证明了所提方法的有效性。 (2)针对现有的多类SVM有可能出现多个两类分类器无法判别(即拒分)或一个数据属于多类(即误分)的情况,在研究支撑矢量机分类机理的基础上,详细分析了SVM多类分类问题中存在的误分、拒分现象,结合模糊理论,提出
论文目录:
摘要
ABSTRACT
第一章 绪论
1.1 统计学习理论的发展
1.2 支撑矢量机的发展
1.3 本文的主要工作
第二章 统计学习理论与支撑矢量机
2.1 统计学习理论
2.1.1 学习问题的一般表示及经验风险最小化归纳原则
2.1.2 学习过程一致性
2.1.3 学习机器推广能力的界
2.1.4 构造性的与分布无关的界
2.1.5 控制学习过程的推广能力
2.1.6 构造学习算法
2.2 支撑矢量机(SVM)
2.2.1 KKT 条件及核的 Mercer条件
2.2.2 最优超平面
2.2.3 支撑矢量分类
2.3 支撑矢量机的几何特性
第三章 支撑矢量模糊预选取
3.1 引言
3.2 模糊预选取
3.2.1 邻近支撑矢量机(Proximal SVM，PSVM)
3.2.2 模糊预选规则
3.3 实验结果
3.3.1 人造数据实验结果
3.3.2 基准数据实验结果
3.4 小结与讨论
第四章 模糊多类支撑矢量机
4.1 引言
4.2 多类支撑矢量机的分类机理
4.3 模糊多类支撑矢量机
4.4 仿真实验
4.4.1 基准数据识别
4.4.2 手写体数字识别
4.4.3 高分辨雷达目标一维距离像识别
4.5 小结与讨论
第五章 基于遗传算法的SVM模型自动选择
5.1 引言
5.2 问题的提出
5.2.1 支撑矢量分类器
5.2.2 模型选择性能指标
5.3 基于实值遗传算法的 SVM模型自动选择
5.4 实验结果
5.4.1 Heart基准数集实验结果
5.4.2 二值遥感军事目标实验结果
5.5 小结
第六章 支撑矢量机泛化性能比较
6.1 引言
6.2 基于指数编码遗传算法的 SVM模型自动选择
6.3 泛化性能指标
6.3.1 单一验证集估计(Single validation estimate)
6.3.2 改进的半径-间隔界(Modified radius-margin bound)
6.3.3 支撑矢量数界(Support vector count)
6.3.4 测试错误概率界(Testing error probability bound)
6.3.5 近似跨度界(Approximate span bound)
6.3.6 风险界(Risk bound)
6.4 基准数集实验结果
6.4.1 泛化性能指标随模型参数的变化
6.4.2 泛化性能指标比较
6.5 小结
第七章 一种新的支撑矢量机泛化性能指标
7.1 引言
7.2 理论基础
7.3 新的泛化性能指标
7.4 实验结果
7.5 小结
第八章 结论与展望
致谢
参考文献
攻读博士学位期间(合作)撰写的学术论文
攻读博士学位期间参加的科研工作
发布时间: 2007-01-10
参考文献
- [1].基于机器学习的文本情感分类研究[D]. 张庆庆.西北工业大学2016
- [2].机器学习及其在多Agent对策学习中的应用研究[D]. 王泉德.武汉大学2005
- [3].基于机器学习的几种医学数据处理方法研究[D]. 翁时锋.清华大学2005
- [4].基于Kernel的机器学习在建模与分类问题的应用研究[D]. 范玉刚.浙江大学2006
- [5].核机器学习方法若干问题研究[D]. 蒋刚.西南交通大学2006
- [6].基于机器学习的入侵检测技术研究[D]. 张义荣.国防科学技术大学2005
- [7].基于机器学习的编译优化适应性研究[D]. 刘章林.中国科学院研究生院（计算技术研究所）2006
- [8].机器学习与文本挖掘若干算法研究[D]. 何清.中国科学院研究生院（计算技术研究所）2002
- [9].支持向量机在机器学习中的应用研究[D]. 罗瑜.西南交通大学2007
- [10].基于互信息与先验信息的机器学习方法研究[D]. 王泳.中国科学院研究生院（自动化研究所）2008
相关论文
- [1].支持向量机算法的研究及其应用[D]. 范昕炜.浙江大学2003
- [2].支持向量机算法及其应用研究[D]. 张国云.湖南大学2006
- [3].支持向量机学习算法研究[D]. 李忠伟.哈尔滨工程大学2006
- [4].免疫克隆策略算法及其应用研究[D]. 刘若辰.西安电子科技大学2005
- [5].信号特征提取方法与应用研究[D]. 孟庆丰.西安电子科技大学2006
标签：统计学习理论论文; 支撑矢量机论文; 模式识别论文; 多类分类问题论文; 模型选择论文; 模型自动选择论文; 泛化性能论文; 模糊逻辑技术论文; 遗传算法论文; 指数编码论文;