Sum-of-Product神经网络和径向基函数神经网络的逼近能力研究

论文摘要

神经网络理论在近年来得到了迅速发展．神经网络的逼近能力是考察神经网络性能的重要一环．实际应用问题中要逼近的映射通常非常复杂，我们不能期待完全精确计算这些未知的映射．现在比较流行的趋势是用神经网络计算一元函数或其它简单函数的复合和线性组合逼近静态映射．这与如下的问题相关：是否，或在什么条件下，一族神经网络输出函数在某个多元函数空间中稠密?即神经网络的逼近能力的研究．神经网络的逼近能力问题作为神经网络的一个基本问题，随着神经网络的发展，引起了工程界和数学家们的广泛关注．稠密性是理论上能够逼近函数的能力，满足稠密性并不意味着这种形式是一种有效的逼近格式．然而，缺少稠密性的保证就意味着一些网络是不可能作逼近应用的．对于神经网络的逼近问题，在数学上讲可以分为四个方面：函数逼近，函数族逼近（强逼近），连续泛函逼近以及连续算子逼近．迄今，人们提出了很多神经网络模型，应用最广泛的是前馈神经网络，所以各种前馈网络的逼近能力的研究任务更加急迫．学者们对径向基函数（RBF）神经网络的逼近能力已有了深入的研究，然而已有研究结果仍需要发展和完善．同时，学者们在研究神经网络对函数族的逼近能力时，都是利用了已有的多层感知器（MLP）和RBF神经网络的函数逼近能力定理，得到了这两种不同网络的强逼近结果，那么对一般的前馈网络的函数逼近性和强逼近性之间是不是也存在着这种联系呢?这一问题对提出统一的逼近理论框架具有重要的实际意义．Sum-of-Product神经网络和Sigma-Pi-Sigma神经网络是分别于2000年和2003年提出的，它们都是由求积神经元和求和神经元构成的多层神经网络，试图解决经典RBF网络和MLP网络遇到的存储记忆量大和学习困难的问题．这两种网络在函数逼近、预测、分类和学习控制任务中都有很好的表现．本论文分别讨论了这两种神经网络的一致逼近能力和Lp逼近能力．已有的神经网络逼近理论主要是存在性地证明了神经网络的逼近能力，我们应用一种构造型方法证明了具有RBF型和平移伸缩不变（TDI）型隐单元的三层前馈神经网络只需随机选择隐单元的权值参数，然后适当调整新增的隐单元和输出单元之间的权值，网络输出函数就能够以任意精度逼近L2（Rd）中任意函数．同时，我们的结果给出了一种自然地建立渐增网络逼近L2（Rd）中函数的方法．形如g（a·x）的岭函数及其线性组合，在拓扑学、神经网络、统计学、调和分析和逼近理论中都有广泛应用．这里g是一元函数，a·x表示欧氏空间Rn中内积．确定在什么程度上函数表示成岭函数的和的表达方式是唯一的，是非常重要的课题．已有的这方面的研究结果考虑的是g∈C（R）和g∈Lloc1（R）的情况，我们将相应的结论推广到g∈Llocp（R）（1≤p<∞）和g∈D’（R）的情况．另外，如果一个函数能够表示成岭函数的和，函数本身和每个和分量的光滑性之间的关系也是本论文关心的问题．本论文的结构和内容如下：第一章回顾了神经网络的相关基础知识，介绍了神经网络的逼近能力理论研究意义、方法和研究现状．第二章主要研究了一个函数如果能够表示成岭函数的和，其表达式的唯一性问题．我们证明了如果f（x）=∑i=1mgi（ai·x）=0，ai=（a1i，…，ani）∈Rn＼{0}两两线性无关，并且gi∈Llocp（R）（或gi∈D’（R），gi（ai·x）∈D’（Rn）），那么每个gi是一个次数不超过m-2次的多项式．此外，我们还给出了岭函数线性组合的一个光滑性定理．第三章给出了RBF神经网络在Lp空间中的函数逼近能力以及强逼近和算子逼近能力的结果．这些结果改进了陈天平和蒋传海等人最近在RBF神经网络逼近方面的结果，为RBF神经网络的应用提供了理论基础．另外，我们还得到了前馈神经一般形式的强逼近定理，现有的很多结果都是它的特例．第四章指出了R上的连续函数作为Sum-of-Product神经网络的激活函数时，网络所生成函数集合在C（K）中稠密的充分必要条件是它不是多项式．进一步地，我们还给出了Sigma-Pi-Sigma神经网络所生成的函数集合在C（K）中稠密的充分必要条件．第五章揭示了Sum-of-Product神经网络所生成的函数集合在Lp（K）中稠密的充要条件．另外，我们根据Sum-of-Product神经网络的逼近结果，讨论了Sigma-Pi-Sigma神经网络的Lp逼近能力．第六章研究了具有随机隐单元的三层渐增前馈神经网络对L2（Rd）中函数的逼近能力．主要讨论了具有RBF型和平移伸缩不变（TDI）型隐单元的前馈神经网络．我们指出了对于具有RBF型隐单元的网络，给定非零激活函数g：R→R且g(‖x‖Rd)∈L2（Rd），或者对于具有TDI型隐单元的网络，给定非零激活函数g（x）∈L2（Rd），如果适当选择隐层单元和输出单元之间权值，则具有n个随机隐单元的三层渐增网络的网络输出函数当n→∞时以概率1收敛于L2（Rd）中任意目标函数．

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 神经网络简介
• 1.1.1 人工神经网络的发展过程
• 1.1.2 人工神经网络构成
• 1.1.3 人工神经网络的信息处理能力和应用
• 1.1.4 人工神经网络研究内容
• 1.2 前馈神经网络
• 1.2.1 多层感知器神经网络
• 1.2.2 径向基函数神经网络
• 1.2.3 Sum-of-Product神经网络
• 1.2.4 Sigma-Pi-Sigma神经网络
• 1.3 神经网络逼近能力的研究意义、方法和现状
• 1.3.1 神经网络逼近能力的研究意义
• 1.3.2 神经网络逼近能力的研究内容和方法
• 1.3.3 多层感知器的逼近能力研究现状
• 1.3.4 RBF神经网络的逼近能力研究近况
• 1.4 本文的主要工作
• 2 岭函数的线性组合的表达唯一性和光滑性
• 2.1 广义函数理论
• 2.1.1 基本空间和广义函数
• 2.1.2 广义函数运算及性质
• 2.2 岭函数研究
• 2.2.1 岭函数线性组合的表达唯一性
• 2.2.2 岭函数光滑性结果
• 3 前馈神经网络逼近能力进展
• p逼近能力'>3.1 RBF神经网络的L^p逼近能力
• 3.2 RBF神经网络的强逼近问题
• 3.3 RBF神经网络的算子逼近问题
• 3.4 前馈网络的强逼近问题及其应用
• 4 Sum-of-Product和Sigma-Pi-Sigma神经网络的一致逼近能力
• 4.1 SOPNN的一致逼近能力
• 4.2 SPSNN的一致逼近能力
• p逼近能力'>5 Sum-of-Product和Sigma-Pi-Sigma神经网络的L^p逼近能力
• p逼近能力'>5.1 SOPNN的L^p逼近能力
• p逼近能力'>5.2 SPSNN的L^p逼近能力
• 6 具有随机隐单元的渐增前馈神经网络的逼近性能
• 6.1 研究背景
• 6.2 定义及引理
• 6.3 具有随机隐单元的前馈网络的逼近能力
• 结论
• 参考文献
• 攻读博士学位期间学术论文完成情况
• 致谢
• 作者简介