求解优化问题的神经网络方法

论文摘要

在现今的科学和技术领域中,像最优控制,信号处理,模式识别等等,经常会遇优化问题。在过去,一般是应用数值计算的方法来解决线性或非线性规划问题,例如,牛顿梯度法,罚函数法等等。在很多工程应用中,往往需要得到优化问题的实时解。但是,传统的数值方法不是很有效,因为它的计算解的时间依赖于问题的维数与结构,以及算法的复杂度。一个可行且很理想的方法来求解优化问题的实时解就是应用人工神经网络。它的自适应性和并行性,可以使得计算的速度有很大的提高。在1985年,Tank和Hopfield首次提出了一类为解决线性规划的神经网络。他们的开创性工作,引起了许多研究者的兴趣,使得后来学者提出了许多神经网络模型,像拉格朗日神经网络,对偶神经网络,反馈神经网络,投影神经网络等等。在过去的三十年,用神经网络来解决优化问题已经得到了很好的发展并且出现了很多重要的结果,其中大部分已经被应用到工程控制及优化领域中。在实际应用中,往往需要神经网络具有简单的结构和好的属性。然而,现今的神经网络在收敛条件和结构方面具有不足。基于以上的分析,本文首先给出了利用神经网络方法来解决非线性规划问题的相关成果,以及光滑理论和凸分析理论相关的定义和引理;其次,研究了带等式约束和不等式约束的凸二次规划问题,带线性约束的凸规划问题,还有一般的非线性凸规划问题的最优解的充要条件,提出了求解这三个问题的神经网络模型。这些神经网络相对于现存的神经网络来讲,具有更少的状态变量和更简单的结构。具体内容为:(1)、在第一部分,我们提出了一个新的神经网络模型来求解带等式约束和不等式约束的凸二次规划问题。比较其它的解决凸二次规划的神经网络模型,该模型具有更少的神经元和更简单的结构。然后,我们证明该神经网络是李雅普诺夫稳定的且可以收敛到问题的最优解。仿真结果显示了该模型的有效性。(2)、在第二部分,我们提出了一个新的神经网络来求解带线性约束的凸规划问题。当目标函数是凸的,这个神经网络可以证明是李雅普诺夫意义下稳定的且能收敛到问题的最优解。相对于其他的解决同类问题的神经网络,我们提出来的神经网路不必要求目标函数是严格凸的,这样就扩大了应用的范围。最后我们利用数值仿真来说明该神经网络的有效性。(3)、在第三部分,我们提出了一个求解一般非线性凸规划问题的神经网络。该神经网络是李雅普诺夫意义下稳定的。相对于其他求解非线性凸规划问题的神经网络,这里的神经网络具有更少的状态变量和更简单的结构。最后数值仿真说明了该神经网络的可行性和有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 神经网络在非线性规划问题中的发展
• 1.2 文章概述
• 1.3 光滑分析理论和凸分析理论中的相关定义和引理
• 第二章 求解具有等式约束和不等式约束的二次规划问题的神经网络
• 2.1 神经网络模型
• 2.2 稳定性分析
• 2.3 数值例子
• 2.4 本章小结
• 第三章求解具有线性约束的非线性凸规划问题的神经网络
• 3.1 神经网络模型
• 3.2 稳定性分析
• 3.3 数值例子
• 3.4 本章小结
• 第四章 求解非线性规划问题的神经网络
• 4.1 问题和模型建立
• 4.2 稳定性分析
• 4.3 数值例子
• 4.4 本章小结
• 第五章 总结与展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文