新的共轭梯度法和谱梯度法的研究

论文摘要

本文给出求解大规模无约束优化问题新的共轭梯度法和谱梯度法,并探讨用谱梯度投影法来求解闭凸集约束优化问题。在适当的条件下,证明了所提出算法的全局收敛性。初步的数值结果表明所提出的算法是有效的。第一章先回顾共轭梯度法和谱梯度法的一些发展历程,随后介绍有关投影梯度法的相关知识。经典的LS共轭梯度法在实际计算中表现很好,但是采用传统的线性搜索该方法尚未有全局收敛性结果。第二章给出求解无约束优化问题的一个修正LS共轭梯度法,在弱Wolfe-Powell线性搜索条件下,证明了所提出方法的全局收敛性。该方法的主要优点是:（1）参数βκnew的非负性与所使用的线性搜索无关;（2）算法产生的方向在弱Wolfe-Powell线性搜索条件下满足充分下降条件。初步的数值结果表明所提出的方法比经典的PRP和LS方法要好。文[1]中给出的数值结果证实了谱梯度（Barzilai-Borwein）法在实际计算中的表现比一些著名的共轭梯度法要好。基于Wei等在文[2]中提出的拟牛顿公式,第三章给出谱梯度法的新步长公式。结合非单调线性搜索技术,在适当条件下,证明了所提出方法的全局收敛性。新方法的特点是:同时利用梯度和函数值的信息能更好地逼近目标函数的二阶曲率。初步的数值结果表明新方法比Barzilai-Borwein方法更有效。文[3]的数值结果表明求解闭凸集约束优化问题的非单调谱投影梯度法（SPG2）是有效的。第四章给出求解大规模闭凸集约束优化问题新的非单调谱投影梯度算法。在目标函数的梯度是一致连续的条件下,证明了所提出的算法是全局收敛的。该证明不需要目标函数下方有界和极限点预先存在的条件。初步的数值结果表明所提出的算法比SPG2方法要好。

论文目录

• 摘要
• ABSTRACT
• Chapter 1.Introduction
• 1.1 Large-scale nonlinear optimization problems
• 1.2 Conjugate gradient methods
• 1.3 Spectral gradient methods
• 1.4 Projected gradient methods
• Chapter 2.A modified Liu-Storey conjugate gradient method
• 2.1 New algorithm and some preliminary properties
• 2.2 Convergence analysis for general nonlinear functions
• 2.3 Numerical experiments
• Chapter 3.A new spectral gradient method
• 3.1 Derivation of a new class of stepsizes
• 3.2 New spectral gradient algorithm
• 3.3 Computational results and analysis
• Chapter 4.A new nonmonotone spectral projected gradient method on closed convex set
• 4.1 Some properties
• 4.2 New algorithm and global convergence
• 4.3 Numerical results
• Chapter 5.Concluding remarks
• 参考文献
• 致谢
• 攻读学位期间发表论文情况