非线性最优化拟牛顿算法研究

论文摘要

文章共分为三部分,第一部分对无约束优化问题的拟牛顿方法,采用了一种新的非精确线搜索,并在每次迭代中利用对角矩阵近似拟牛顿法中的校正矩阵,使计算搜索方向的存储量和工作量明显地减少.在此基础上,对无约束优化问题的拟牛顿方程进行了校正,在这种拟牛顿校正公式下,更多的利用了目标函数的信息,使得拟牛顿算法收敛比较快,迭代次数较少.在通常的假设条件下,证明了算法的全局收敛性,超线性收敛性.数值例子表明算法是有效的.第二部分,设计了求解无约束最优化问题的新的非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法.新的步长规则类似于Grippo非单调线搜索规则并包含Grippo非单调线搜索规则作为特例.新的步长规则在每一次线搜索时得到一个相对于Grippo非单调线搜索规则的较大步长,同时保证算法的全局收敛性.减弱了较强的假设条件,推广并加强现有的相应结果,数值例子表明算法是有效的,适合求解大规模问题.第三部分,基于非拟牛顿方程对无约束优化问题提出了一种新的无记忆非拟牛顿校正公式,保证校正矩阵的正定对称性,更多的利用目标函数的信息,使算法的收敛性更稳定,并在目标函数满足一致凸的条件下,采用Wolfe线搜索证明了算法的全局收敛性,该算法使计算的存储量和工作量明显地减少,为大型无约束优化问题的求解提供了新的思路,数值例子表明算法是有效的.

论文目录

• 摘要
• Abstract
• 第一章 前言
• 1.1 拟牛顿算法简介
• 1.2 对角稀疏拟牛顿算法简介
• 1.3 无记忆拟牛顿算法及非单调搜索技术简介
• 第二章 一种新的稀疏拟牛顿算法
• 2.1 拟牛顿算法及其性质
• 2.2 全局收敛性
• 2.3 超线性收敛性
• 2.4 二阶收敛性
• 2.5 数值试验
• 第三章 新非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法
• 3.1 算法及性质
• 3.2 算法全局收敛性
• 3.3 超线性收敛性
• 3.4 数值实验
• 第四章 一种新的无记忆非拟牛顿算法及其收敛性
• 4.1 无记忆非拟Newton公式的导出
• 4.2 无记忆非拟牛顿算法的全局收敛性
• 4.3 数值试验
• 结论
• 参考文献
• 攻读硕士学位期间取得的学术成果
• 致谢