基于可扩展的支持向量机分类算法及在信用评级中的应用

论文摘要

支持向量机作为一种基于统计学习理论的新型机器学习方法,较好地解决了非线性、高维数、小样本等实际问题,是机器学习领域新的研究热点。但是目前来说支持向量机具有鲁棒性较差、学习效率较低、分布式学习通信量大等缺陷。因此,本文针对支持向量机进行改进研究,包括在原有二叉树支持向量机基础上引入后验概率、在引入后验概率的基础上将支持向量机向多类分类问题进行扩展、针对对等传感器网络的完全分布式的支持向量机学习,并在企业信用评级系统中进行应用研究。具体来说,本文的主要工作和创新点总结如下：（1）后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低了计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法（P2BTS）实验结果证明,P2BTS比c-BTS的分类精度更高,且基于后验概率支持向量机（PPSVM）的P2BTS所需的二类分类器个数明显比c-BTS少,这在一定程度上减少了P2BTS分类决策的时间和比较的次数,提高了分类效率（2）在考虑Fisher比可分性测度的基础上,将PPSVM扩展到多类分类问题,提出两种决策树结构的PPSVM算法,分别为多对多PPSVM决策树和一对多PPSVM决策树。性能分析表明,无论是多对多方法还是一对多方法,两种树都包含n-1个PPSVM分类器。两种算法的平均收敛率分别为O（log2n）和O（（n!-1）/n）。实验表明,所提出的算法在提高分类精度的同时,减少了所需的支持向量数目和二类分类器个数,提高了分类效率（3）针对点对点传感器网络,基于平均一致性算法,提出了一种完全分布式的可扩展支持向量机分类算法（DS2VM）。该算法的主要优势是其训练过程仅需要局部智能体自身的样本,然后只与其相邻节点进行通信就能对全局分类器达到网络范围的一致性。由于所提出的算法仅需相邻节点之间的信息交换,因此是规模可扩展的。另外,提出了一种新的平均一致性,并对其收敛性和稳定性进行分析。通过对UCI机器学习数据库的实验分析,证明了所提出的DS2VM分类算法非常接近集中式最优分类精度,且通信代价较传统分布式SVM算法大大减小（4）改进算法在信用评级系统中的应用。巴塞尔新资本协议希望并鼓励各银行发展内部信用评级系统,而信用评级本质上是一个非线性、小样本问题,样本往往是含噪声或者孤立点的,并且已有样本不可避免存在模糊或错误类标。因此,将以上改进的SVM分类方法应用在信用评级系统中,就是十分自然的想法了。本文建立了基于改进SVM算法的标准化、层次化评级决策支持系统模型。实证分析表明了所提出新算法的有效性。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景-动机和意义
• 1.2 国内外研究进展
• 1.2.1 典型的SVM算法
• 1.2.2 分布式SVM
• 1.2.3 企业信用评级
• 1.3 关键技术与主要工作
• 1.4 论文结构
• 1.5 本章小结
• 第2章 统计学习相关概念与理论
• 2.1 引言
• 2.2 统计学习相关概念与理论
• 2.2.1 机器学习的问题描述
• 2.2.2 统计学习理论
• 2.3 SVM分类算法
• 2.3.1 线性SVM分类算法
• 2.3.2 非线性SVM分类算法
• 2.4 后验概率SVM
• 2.4.1 不确定性分类问题描述
• 2.4.2 不确定性分类最优超平面
• 2.4.3 C-软间隔PPSVM算法
• 2.4.4 确定样本点后验概率的经验方法
• 2.5 本章小结
• 第3章 基于后验概率的SVM决策树算法
• 3.1 引言
• 3.2 多类SVM算法
• 3.2.1 一对多方法
• 3.2.2 一对一方法
• 3.2.3 DAG方法
• 3.3 决策树与SVM决策树
• 3.3.1 SVM决策树
• 3.3.2 c-BTS
• 2BTS）'>3.4 基于后验概率的二叉树SVM（P²BTS）
• 3.4.1 基本思路及相关定义
• 3.4.2 算法流程
• 3.4.3 后验概率的计算方法
• 3.5 实验与分析
• 3.6 本章小结
• 第4章 基于可分性测度的PPSVM决策树
• 4.1 引言
• 4.2 研究动机及相关概念
• 4.2.1 树型分类器的性能分析
• 4.2.2 Fisher比可分性测度
• 4.3 多对多方法
• 4.3.1 基本思路
• 4.3.2 算法流程
• 4.4 一对多方法
• 4.4.1 基本思路
• 4.4.2 算法流程
• 4.5 性能分析
• 4.5.1 PPSVM分类器个数
• 4.5.2 收敛性分析
• 4.6 实验与分析
• 4.6.1 数据库描述
• 4.6.2 实验结果
• 4.7 本章小结
• 第5章 可扩展的分布式SVM算法
• 5.1 引言
• 5.2 对等传感器网络及其图模型
• 5.3 平均一致性算法
• 5.3.1 传统方法
• 5.3.2 新协同算法及其性能分析
• 5.3.3 仿真分析
• 5.4 基于平均一致性的SVM分布式学习（DS2VM）
• 5.4.1 基于梯度上升的序贯SVM训练
• 5.4.2 SVM的分布式并行训练
• 5.4.3 SVM分类器的分布式评估
• 5.4.4 可扩展分布式SVM的算法流程
• 5.5 实验与分析
• 5.6 本章小结
• 第6章 改进SVM分类算法在信用评级中的应用
• 6.1 引言
• 6.2 信用评级概述
• 6.2.1 信用评级的含义
• 6.2.2 信用评级的必要性
• 6.2.3 目前我国信用评级的现状
• 6.3 基于改进SVM的信用评级决策支持系统
• 6.3.1 信用评级体系
• 6.3.2 评级决策支持系统建立
• 6.4 PPSVM决策树在信用评级中的应用
• 6.4.1 数据来源
• 6.4.2 指标选择
• 6.4.3 基于核主成分分析的特征提取
• 6.4.4 结果与分析
• 2VM的可扩展分布式信用评级研究'>6.5 基于DS²VM的可扩展分布式信用评级研究
• 6.5.1 系统搭建
• 6.5.2 结果与分析
• 6.6 本章小结
• 第7章 总结与展望
• 7.1 论文工作总结
• 7.2 进一步的工作
• 参考文献
• 致谢
• 攻读学位期间发表的论文和参与的科研项目