基于1-SVM的多球体分类器理论及其应用研究

论文摘要

作为支持向量机的重要分支算法,一类支持向量机及多球体聚类算法在异常检测、聚类学习等无指导领域得到了良好的应用。本文在深入研究一类支持向量机理论的基础上,给出一类支持向量机的作用集训练算法,从改进核聚类算法出发提出多球体理论框架,并进一步与有指导分类器融合以增强其训练速度和分类正确率,使之能适应现今大样本训练和实时决策的学习趋势。本文的主要工作包括:(1)提出一类支持向量机的作用集训练算法,并引入递推方法求解无约束优化的线性方程。该算法寻找支持向量在最优状态下的分布,无需逼近目标函数,避免使用KKT容忍值,并可获得解析的最优解,从而提高了一类支持向量机的训练效率。(2)为解决一类支持向量机核聚类的距离参数问题,提出模糊核聚类算法,定义具有支持向量特性的模糊隶属度函数替代距离参数,通过惩罚边缘样本的权重抑制聚类中心的偏移,不失鲁棒性地避免了参数搜索过程。同时,在核聚类算法基础上提出多球体理论框架。(3)扩展多球体理论框架至有指导学习并构造多球体分类器,引进精简一对多分类器以分离多球体内的混叠样本。构造组合分类器将上述两个性能互补的分类器加权组合,并给出基于交叉验证的权重估计和参数搜索策略。相对于传统的一对多算法,组合分类器显著减少了训练时间和决策时间,提高了分类正确率。(4)针对一对一算法的成对耦合决策规则的实时性问题,使用多球体分类器获得样本与类别的模糊隶属度,引进预分类算法挑选部分隶属度较高的类别参与决策,显著降低决策计算量。给出固定候选集容量和K均值两种预分类算法。前者固定参与决策的类别数,通过调节容忍参数权衡决策时间和分类正确率,以牺牲一定正确率为代价获得较快的决策速度;后者采用K均值聚类得到隶属度较高的类别,考虑了不同样本的模糊隶属度特性,因而其分类正确率无明显下降。(5)针对车牌识别项目,采用图像线性变换完善车牌字符样本库,并将本文提出的基于多球体理论框架的分类器应用于车牌字符识别模块,通过比较实验,最终在项目中选取基于K均值预分类的一对一成对耦合算法。

论文目录

• 摘要
• Abstract
• 符号说明
• 目录
• 第1章 绪论
• 1.1 课题研究背景
• 1.2 统计学习理论简介
• 1.2.1 统计推理的建立
• 1.2.2 参数推理方法
• 1.2.3 经验风险最小化
• 1.2.4 结构风险最小化
• 1.2.5 SVM算法
• 1.3 1-SVM算法
• 1.3.1 SVDD算法
• 1.3.2 1-SVM算法
• 1.4 1-SVM的研究现状
• 1.4.1 1-SVM的理论研究现状
• 1.4.2 1-SVM的应用研究现状
• 1.4.3 1-SVM的聚类扩展研究
• 1.5 本文研究内容及结构安排
• 第2章 基于作用集的1-SVM训练算法
• 2.1 SVM训练算法
• 2.1.1 分块法
• 2.1.2 分解法
• 2.1.3 作用集法
• 2.2 SMO算法及其在1-SVM上的移植
• 2.2.1 SMO算法简介
• 2.2.2 SMO在1-SVM上的移植
• 2.3 基于作用集的1-SVM训练算法
• 2.3.1 SVM作用集法
• 2.3.2 1-SVM无约束优化
• 2.3.3 1-SVM作用集法
• 2.3.4 线性方程的递推求解法
• 2.4 仿真实验
• 2.4.1 SMO容忍值权衡分析
• 2.4.2 固定数据集比较实验
• 2.4.3 递增数据集比较实验
• 2.5 本章小结
• 第3章 模糊1-SVM核聚类及多球体理论框架
• 3.1 1-SVM核聚类算法
• 3.1.1 K均值聚类
• 3.1.2 基于K均值的1-SVM核聚类
• 3.2 基于模糊1-SVM的核聚类算法
• 3.2.1 模糊1-SVM
• 3.2.2 模糊隶属度函数
• 3.2.3 1-FSVM核聚类算法步骤
• 3.3 多球体理论框架
• 3.4 仿真实验
• 3.4.1 单步聚类
• 3.4.2 聚类综合比较
• 3.5 本章小结
• 第4章 多球体分类器及其组合实现
• 4.1 基于SVM的一对多分类器
• 4.1.1 SVM多分类方法
• 4.1.2 一对多分类器
• 4.2 多球体聚类
• 4.2.1 支持向量聚类
• 4.2.2 多球体自增长聚类
• 4.3 多球体分类器及其组合实现
• 4.3.1 有指导多球体分类器
• 4.3.2 精简的一对多分类器
• 4.3.3 分类器的组合
• 4.3.4 分类器的参数设定
• 4.4 仿真实验
• 4.4.1 M1VRC的参数设定
• 4.4.2 多分类器综合性能比较
• 4.5 本章小结
• 第5章 基于多球体的一对一决策预分类方法
• 5.1 一对一分类器及其决策规则
• 5.1.1 一对一分类器
• 5.1.2 1V1C的决策规则
• 5.2 成对耦合决策规则
• 5.2.1 SVM输出的后验概率估计
• 5.2.2 PWC决策的HT方法
• 5.2.3 PWC决策的WLW方法
• 5.3 基于多球体的预分类算法
• 5.4 固定候选集容量法
• 5.4.1 候选集的容量估计
• 5.4.2 参数预设条件
• 5.4.3 评分函数
• 5.4.4 交叉验证步骤
• 5.5 K均值预分类算法
• 5.5.1 算法步骤
• 5.5.2 参数预设条件
• 5.6 仿真实验
• 5.6.1 固定候选集法
• 5.6.2 K均值预分类
• 5.6.3 综合比较实验
• 5.7 本章小结
• 第6章 多球体分类器在实时车牌识别中的应用
• 6.1 实时车牌识别项目简介
• 6.1.1 车牌字符
• 6.1.2 字符识别流程
• 6.2 基于图像线性变换的字符样本生成
• 6.3 字符识别算法
• 6.3.1 最近邻算法
• 6.3.2 神经网络
• 6.3.3 M1VRC
• 6.3.4 基于固定候选集容量预分类的PWC算法
• 6.3.5 基于K均值预分类的PWC算法
• 6.4 算法优化
• 6.4.1 基于特定规则的识别任务分解
• 6.4.2 尾汉字识别优化
• 6.4.3 核内存优化
• 6.5 综合比较实验
• 6.5.1 实验参数
• 6.5.2 样本库递增实验
• 6.5.3 神经网络分类实验
• 6.5.4 基于最大样本库的整车牌实验
• 6.5.5 置信度分析及分类优化
• 6.6 本章小结
• 第7章 总结与展望
• 7.1 全文工作总结
• 7.2 进一步的工作展望
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢