支持向量机神经网络研究及其硬件实现

支持向量机神经网络研究及其硬件实现

论文摘要

支持向量机(Support Vector Machines,SVMs)采用结构风险最小化的思想和方法,以良好的推广能力、极低的分类和逼近误差、数学上的易处理性和简洁的几何解释等优点,已经被广泛作为一种分类和回归的工具。目前对支持向量机的研究主要集中在理论研究和算法的优化方面。与之相比,其应用研究和算法实现的研究则相对较少,目前只有较为有限的实验研究报道。同时这些算法大多只能用计算机软件来实现,而不适合模拟硬件的实现,这显然大大的限制了SVM在实际中的应用。在许多工程和应用领域中,往往需要用SVM对数据进行实时处理,因此对SVM进行并行和分布式的训练是十分必要的。考虑到神经网络的实时处理能力,本论文将SVM与神经网络相结合,利用部分对偶的方法,将求解SVM的二次规划问题转化成递归神经网络的动态方程组,并从理论上构建了标准SVM学习神经网络。且所对应的标准网络拓扑结构可以采用更为简单和有效的模拟电路实现。这样不但可以大幅度的提高SVM的训练速度,而且还为支持向量机的实际应用提供了新的思路。在此基础上,论文进一步提出一种基于最小二乘支持向量机(LS-SVM)的学习网络。与标准SVM神经网络相比,该学习网络避免了采用映射变量,整个网络直接采用Lagrange乘子训练,消除了其网络中的非线性部分,使得新的神经网络更加简洁,而且更加有利于采用模拟硬件电路在实时运用中实现。同时前者只研究了分类问题的神经网络的实现,没有涉及回归问题,本文提出的LS-SVM学习神经网络可以在几乎不改变拓扑结构的基础上实现分类和回归两种问题,并且分别对这两种网络的稳定性进行了证明。最后采用Simulink仿真、Pspice电路仿真以及硬件电路实验表明,所提出的神经网络是有效的。

论文目录

  • 摘要
  • Abstract
  • 1 概述
  • 1.1 支持向量机产生的背景及其发展现状
  • 1.1.1 支持向量机产生和发展状况
  • 1.1.2 支持向量机的优点
  • 1.2 神经网络发展的历史回顾
  • 1.2.1 历史回顾
  • 1.2.2 神经网络的优点
  • 1.3 本课题的意义及研究背景
  • 1.4 本文框架
  • 2 统计学习理论简介
  • 2.1 机器学习的基本问题
  • 2.1.1 问题的表示
  • 2.1.2 经验风险最小化
  • 2.2 统计学习理论的核心内容
  • 2.2.1 VC维
  • 2.2.2 推广性的界
  • 2.2.3 结构风险最小化
  • 3 支持向量机的研究
  • 3.1 分类问题
  • 3.1.1 线性可分支持向量分类机
  • 3.1.2 线性支持向量分类机
  • 3.1.3 支持向量分类机
  • 3.2 回归估计
  • 3.3 最小二乘支持向量机
  • 3.3.1 最小二乘支持向量分类机
  • 3.3.2 最小二乘支持向量回归机
  • 4 支持向量机学习神经网络
  • 4.1 支持向量机学习神经网络动态方程
  • 4.2 支持向量机学习神经网络的实现
  • 4.3 支持向量机学习神经网络稳定性
  • 4.4 仿真实验研究
  • 5 最小二乘支持向量机学习神经网络
  • 5.1 LS-SVM分类学习神经网络
  • 5.1.1 LS-SVM分类学习神经网络动态方程及其实现
  • 5.1.2 LS-SVM分类学习神经网络稳定性分析
  • 5.2 LS-SVM回归学习神经网络
  • 5.2.1 LS-SVM回归学习神经网络动态方程及其实现
  • 5.2.3 LS-SVM回归学习神经网络稳定性分析
  • 5.3 仿真与实验
  • 6 总结与展望
  • 致谢
  • 参考文献
  • 相关论文文献

    标签:;  ;  ;  

    支持向量机神经网络研究及其硬件实现
    下载Doc文档

    猜你喜欢