基于二阶导数的非凸约束优化的微分方程方法

论文摘要

本文旨在研究求解非凸约束优化问题的基于二阶导数的微分方程方法。原因有三个：一是很多最优化问题的人工神经网络方法都是由微分方程系统来刻画的，系统地研究微分方程方法可能为后者提供理论支撑；二是可以把有效的微分方程的数值解法用于求解非凸约束优化问题；三是二阶导数的微分方程方法往往具有快速的收敛性。本文主要研究基于一具体空间变换的微分方程系统，修正的Evtushenko-Zhadan系统和基于非线性Lagrange函数的微分方程系统。取得的结果可概括如下 1．第2章，基于一具体的空间变换，构造求解不等式约束优化问题的基于问题函数的一阶导数和基于二阶导数的微分方程系统。我们证明这两个系统具有性质：约束优化问题的KKT点是它们的渐近稳定的平衡点，且当初始点是可行点时，解轨迹将全部落于可行域中。我们还证明了两个微分方程系统欧拉离散迭代格式的局部收敛性和基于第二个系统的离散迭代格式的局部二次收敛性质。最后用两个离散迭代算法计算了若干个算例，数值结果表明基于二阶导数系统的算法具有较快的收敛速度。 2．第3章分两部分。第一部分分别给出求解等式约束优化问题的基于问题函数的一阶导数和二阶导数的修正的Evtushenko-Zhadan系统，证明了约束优化问题的KKT点是两个系统的渐近稳定的平衡点；建立了这两个系统的Euler离散迭代格式，证明了它们的局部收敛性和基于二阶导数的微分方程系统的欧拉迭代方法的二阶收敛性。我们还构造了搜索方向由两个微分系统计算，步长采用Armijo线搜索的算法并证明了算法的收敛性。我们用采用Armijo步长的算法和龙格库塔法求解两个微分方程系统计算若干算例，数值结果表明龙格库塔的微分方程算法具有较好的稳定性和更高的精确度，基于二阶导数的微分方程系统的算法具有更快的收敛速度。第二部分讨论一般约束的优化问题的求解，分别给出基于问题函数的一阶导数和二阶导数的修正的Evtushenko-Zhadan系统，得到第一部分的所有的相应结果。 3．第4章，通过一类非线性Lagrange函数，分别基于问题函数的一阶导数和二阶导数建立求解不等式约束优化问题的两个微分方程系统。在适当的条件下，证明出这两个系统的渐近稳定性和Euler离散迭代格式的收敛性，包括基于二阶导数的微分方程算法的二阶收敛性。在此框架下，我们对由指数Lagrange函数和修正障碍函数生成的微分方程系统进行具体的讨论。

论文目录

• 独创性说明
• 摘要
• Abstract
• 1 绪论
• 1.1 引言
• 1.2 非线性最优化微分方程方法的研究现状
• 1.3 常微分方程稳定性理论
• 1.3.1 基本定义
• 1.3.2 主要定理
• 1.3.3 简单迭代格式的收敛性
• 1.4 本文的主要工作
• 2 一个空间变换下的微分方程方法
• 2.1 几种空间变换的形式
• 2.2 一阶导数的微分方程系统
• 2.3 二阶导数的微分方程系统
• 2.4 数值结果
• 3 修正的 Evtushenko- Zhadan系统
• 3.1 求解等式约束优化问题的微分方程算法
• 3.1.1 一阶导数的微分方程系统
• 3.1.2 二阶导数的微分方程系统
• 3.1.3 数值结果
• 3.2 求解约束优化问题的两个微分方程算法
• 3.2.1 一阶导数的微分方程系统
• 3.2.2 二阶导数的微分方程系统
• 3.2.3 数值结果
• 4 基于非线性 Lagrange函数的微分方程方法
• 4.1 一类非线性 Lagrange函数微分方程系统的理论体系
• 4.1.1 一阶导数的微分方程系统的理论结构
• 4.1.2 二阶导数的微分方程系统的理论结构
• 4.2 指数形式的 Lagrange函数产生的微分方程系统
• 4.2.1 一阶导数的微分方程系统
• 4.2.2 二阶导数的微分方程系统
• 4.2.3 数值结果
• 4.3 修正障碍函数产生的微分方程系统
• 4.3.1 一阶导数的微分方程系统
• 4.3.2 二阶导数的微分方程系统
• 4.3.3 数值结果
• 5 结论与展望
• 5.1 结论
• 5.2 今后工作展望
• 参考文献
• 创新点摘要
• 附录 A符号说明
• 附录 B数值例子
• 攻读博士学位期间发表学术论文情况
• 致谢
• 大连理工大学学位论文版权使用说明书