基于熵聚类的RBF神经网络训练算法研究

论文摘要

信息熵是信息量的度量,利用数据样本的信息熵可揭示系统的某些内在特性。对于数据聚类,信息熵具有其应用价值。以样本聚类为基础的径向基函数（RBF）神经网络是一种结构简单、训练简洁、应用广泛的人工神经网络。其网络性能好坏的关键在于基函数中心的选择。中心的数量即隐层节点数选的太多,容易导致过拟合,使得推广能力下降;中心数选得太少,所学习的网络样本中包含的信息得不到充分的学习,也会使得推广能力下降。近年来,已经发展了很多种基于各种聚类算法的中心选择方法。这些方法对于一些输入样本数及聚类模式数给定的模式识别问题比较适用,但这些算法都是以迭代方式达到目标函数的收敛,容易陷入极小点,因此算法对初值非常的敏感[1],而且要求预先给定全部输入样本及其聚类中心的数目,这对某些问题是无法实现的。本文将信息论中的熵应用于RBF网络的训练算法中,研究结果表明,利用熵聚类方法,是有效解决上述问题的途径之一。本文工作的主要内容阐述如下:①对径向基（RBF）神经网络及其主要训练算法、信息熵等相关基本理论进行了介绍。②针对RBF训练算法中很难确定径向基函数中心的问题,采用信息论中的熵的思想,给出了一种熵聚类算法,用于对RBF中心位置的初始化。借助于Matlab平台,利用该方法对函数进行逼近。最后实验表明,改进的方法比经典的K-均值聚类法所得到的逼近效果要好,而且训练速度更快。③泛函网络是神经网络的一般化推广。本文将熵聚类算法应用到泛函网络中,提出了一种可用于函数逼近的可分离泛函网络的方法,并对此方法进行了计算机仿真。仿真结果表明,改进的方法能很好的逼近给定函数,具有良好的逼近性能。本文采用的熵聚类方法,使RBF神经网络在逼近问题上不仅具有逼近效果好、训练速度快的优点,还具有自动确定RBFNN的隐节点数和相应的隐节点参数的能力。

论文目录

• 摘要
• ABSTRACT
• 1 引言
• 1.1 课题研究的背景和意义
• 1.2 国内外研究现状
• 1.2.1 人工神经网络的发展现状
• 1.2.2 径向基函数神经网络的发展
• 1.3 熵与神经网络的研究现状
• 1.4 本文研究的主要内容
• 2 径向基函数神经网络及其算法
• 2.1 前馈神经网络
• 2.2 RBF 神经网络原理
• 2.2.1 RBF 与插值问题
• 2.2.2 RBF 网络结构
• 2.3 RBF 学习算法综述
• 2.3.1 混合学习方法
• 2.3.2 有监督学习
• 2.3.3 正交最小二乘法（OLS）
• 2.4 RBF 神经网络的泛化能力
• 2.4.1 样本质量和数量
• 2.4.2 先验知识
• 2.4.3 初始权值
• 2.4.4 训练时间
• 2.5 RBF 神经网络的优点及问题
• 3 熵的概念
• 3.1 熵的产生和发展
• 3.2 熵的定义和基本性质
• 3.2.1 熵的基本定义
• 3.2.2 熵的基本性质
• 3.3 熵与RBF 神经网络
• 4 基于熵聚类的RBF 神经网络学习算法
• 4.1 初始聚类中心的确定方法
• 4.2 熵聚类算法
• 4.2.1 信息熵原理
• 4.2.2 熵聚类算法的设计
• 4.3 基于熵聚类的RBF 神经网络学习算法
• 4.4 仿真实验
• 4.4.1 熵聚类算法的分析
• 4.4.2 熵聚类实现k-Means 算法的初始化
• 4.4.3 RBF 神经网络逼近实验
• 4.5 小结
• 5 熵聚类实现泛函网络神经元函数优化
• 5.1 引言
• 5.2 泛函网络
• 5.2.1 泛函网络结构
• 5.2.2 神经网络与泛函网络的主要区别
• 5.3 一般的泛函网络学习算法
• 5.3.1 多输入、单输出可分离泛函网络模型
• 5.3.2 一般的学习算法描述
• 5.4 基于熵聚类的泛函网络学习算法
• 5.5 仿真实验
• 5.6 小结
• 6 总结与展望
• 致谢
• 参考文献
• 附录
• A 作者在攻读学位期间发表的论文目录
• B 作者在攻读硕士学位期间参加的科研项目