连续感知器学习算法的有限收敛性及连续距离转换神经网络

论文题目: 连续感知器学习算法的有限收敛性及连续距离转换神经网络

论文类型: 博士论文

论文专业: 计算数学

作者: 邵郅邛

导师: 吴微

关键词: 前馈神经网络,连续感知器,在线梯度法,在线算法,有限收敛性,目标匹配

文献来源: 大连理工大学

发表年度: 2005

论文摘要: 前馈神经网络(单、多层感知器)已经成为应用最广泛的神经网络模型之一.当前神经网络的一个热点问题就是研究神经网络学习算法的理论基础,特别是学习算法的收敛性证明.作为该网络基本组成的感知器,具有对线性可分问题进行正确分类的能力.特别是训练离散型感知器的一些算法,如perceptron规则和基于LMS算法的delta规则(或称Widrow-Hoff规则),不仅在实践中行之有效,而且在理论上已经证明是收敛的[4] .但在连续型感知器(单层和多层)中广泛使用的在线BP算法,虽然在实际应用中有了很好的效果,并且有许多学者也已经尝试着得到在线BP算法的收敛性,但是,在解决线性可分这样基本的分类问题方面,在线BP算法还没有取得令人满意的有限收敛性结果.一些学者做了这方面的工作,其中在Gori&Maggini[7] 的这篇文章中,他们证明了在一定条件下,多层感知器的在线BP算法对线性可分样本能够收敛到一个最优解.但不幸的是,他们在证明过程中有些不妥之处,特别是数学上的错误保证不了最后结论的正确性(见§3. 2. 1节).在本文中,我们给出了连续单层感知器的在线梯度算法对线性可分样本的有限收敛性证明,并且把这种方法推广到多层感知器中,证明了在与[7] 相似假设条件下多层感知器在线BP神经网络的有限收敛性.本文的另一项工作是关于连续距离转换神经网络用于目标匹配的内容.目标匹配是数字图像识别的一个重要课题.我们试图利用连续距离转换神经网络(Continuous Distance Transform Neural Networks,CDTNN)更有效地解决这一问题.CDTNN是用于描述二维图像边界的神经网络表示方法.这种方法在物体表示和不变识别方面有很好的应用.我们的研究表明,在图像的目标匹配中,CDTNN也是生成距离图的一个很有效的方法.依据CDTNN生成的距离图相对于其它离散方法得到的距离图的一些显著优点,我们将CDTNN与多分辨率图像搜索方法结合起来用于目标匹配,并对实际图像及其变形图像进行了目标匹配试验.

论文目录:

主要符号对照表

第一章绪论

1． 1 神经网络概论

1． 1． 1 神经网络的特征、结构及学习规则

1． 1． 2 神经网络的应用

1． 2 前馈神经网络

1． 2． 1 简单感知器

1． 2． 2 多层感知器以及BP算法

1． 3 前馈神经网络在图像识别中的应用

1． 4 本文的主要工作

第二章感知器与线性可分问题

2． 1 离散感知器的学习算法以及收敛性

2． 1． 1 离散感知器的模型

2． 1． 2 感知器的学习目标

2． 1． 3 感知器的学习算法

2． 1． 4 感知器算法的收敛性定理

2． 2 线性可分性理论

2． 2． 1 线性可分的定义及性质

2． 2． 2 感知器学习算法关于线性可分性的讨论

第三章连续感知器的在线梯度算法对线性可分样本的有限收敛性

3． 1 在线梯度算法

3． 1． 1 梯度下降算法

3． 1． 2 在线梯度法

3． 2 在线梯度算法对线性可分样本的有限收敛性

3． 2． 1 关于文献[7] 中”在线BP算法收敛性”的一些评注

3． 2． 2 单层连续感知器在线梯度法的有限收敛性

3． 2． 3 多层感知器在线BP神经网络的有限收敛性

第四章用于目标匹配的连续距离转换神经网络和多分辨率方法

4． 1 CDTNN目标匹配方法

4． 1． 1 连续距离转换神经网络

4． 1． 2 多分辨率搜索图像的CDTNN匹配方法

4． 2 试验结果

4． 2． 1 CDTNN对目标图像的匹配

4． 2． 2 对有一定变形和尺度变化的检测图像的识别匹配

参考文献

博士期间论文完成情况

论文创新点摘要

致谢

发布时间: 2005-07-04

参考文献

[1].离子通道Markov模型的Q矩阵确定与生物神经网络的学习[D]. 向绪言.湖南师范大学2007

连续感知器学习算法的有限收敛性及连续距离转换神经网络

猜你喜欢