求解最优化问题的非线性共轭梯度法

论文摘要

本文研究求解无约束优化问题和带简单有界约束优化问题的非线性共轭梯度法，并讨论这些方法的全局收敛性和数值表现。 我们首先在第1章简单的介绍本文将要研究的问题的背景和已有结果，在第2-4章提出几种修正的非线性共轭梯度法，分别称为MFR方法，MPRP方法和MHS方法。这几种修正方法的一个最重要的特征是能产生充分下降方向，即搜索方向dk满足dkTgk=-‖gk‖2。这种性质不依赖方法所采用的线性搜索，这也是本文提出的算法与已有的非线性共轭梯度法的主要区别之一。此外，当采取精确线性搜索时，MFR方法，MPRP方法和MHS方法分别退化为标准的FR方法，PRP方法和HS方法。因此，当目标函数是严格凸的二次函数，且采用精确线性搜索时，这些修正的共轭梯度法具有共轭性和二次终止性。 在一定条件下，我们证明采用标准Armijo线性搜索和Wolfe线性搜索的MFR方法求解非凸极小化问题的全局收敛性．我们在第3章还提出一种修正的Armijo线性搜索并证明MPRP方法在该修正的Armijo线性搜索下求解非凸极小化问题的全局收敛性。 注意到对于共轭梯度法，初始步长的选取对算法的数值效果有较大影响，我们在第3章提出一种自调比的初始步长策略，数值结果表明在大多数情况下，本文提出的初始步长选取策略是可接受的，从而减少了函数值的计算次数，提高了算法的有效性。 为了证明MHS方法的全局收敛性，我们对MHS方法又提出两种修正形式，称为MMHS方法和CMHS方法，这两种修正方法仍然保持gkTdk=-‖gk‖2的性质，在适当的假设条件下，我们证明MMHS方法和CMHS方法在标准Armijo线性搜索和Wolfe线性搜索下用于求解非凸极小化问题时也具有全局收敛性。更为重要的是，我们测试了CUTE函数库中大量的无约束优化问题，数值结果表明，本文的算法非常成功，特别是MPRP，MMHS和CMHS方法基本上可与CGDESCENT方法相媲美。 本文第5章，我们在DY算法中引入一种控制准则，利用此准则提出一种最速下降-DY型混合算法，该算法也能产生下降方向，在一定条件下，我们证明采取标准Armijo线性搜索的这种混合算法求解非凸无约束优化问题的全局收敛性。 我们在第6-7章分别提出一种非单调的共轭梯度法和固定步长策略下的共轭梯度法，并证明MFR，MPRP，MMHS，CMHS方法在非单调的Armijo型线性搜索和取固定步长策略下求解非凸目标函数时的全局收敛性。此外，我们在第6章还提出一种杂交的PS方法并证明该方法求解非凸问题的全局收敛性。 最后在第8章，我们提出一种求解简单有界约束优化问题的非线性共轭梯度法，该方法能产生可行下降方向，在适当的条件下，我们建立该方法的全局收敛性

论文目录

• 学位论文原创性声明和学位论文版权使用授权书
• 摘要
• Abstract
• 符号表
• 第1章 绪论
• 1.1 线性共轭梯度法
• 1.2 非线性共轭梯度法
• 1.3 本文的主要工作
• 1.4 一个重要引理和本文的基本假设
• 第2章 一种修正的FR方法
• 2.1 引言
• 2.2 算法
• 2.3 全局收敛性
• 2.4 数值结果
• 第3章 一种修正的PRP方法
• 3.1 引言
• 3.2 算法
• 3.3 收敛性分析
• 3.4 数值结果
• 第4章 几种修正的HS方法
• 4.1 引言
• 4.2 算法
• 4.3 收敛性分析
• 4.4 数值结果
• 第5章 一种最速下降-DY混合方法
• 5.1 引言
• 5.2 算法
• 5.3 收敛性分析
• 5.4 数值结果
• 第6章 非单调线性搜索下共轭梯度法的全局收敛性
• 6.1 引言
• 6.2 一般方法的非单调格式
• 6.3 非单调线性搜索在共轭梯度法中的应用
• 6.4 关于PS方法的讨论
• 6.5 数值结果
• 第7章 采用固定步长的共轭梯度法的全局收敛性
• 7.1 引言
• 7.2 收敛性分析
• 7.3 常数步长因子的MMHS方法
• 第8章 共轭梯度法求解大规模有界约束优化问题
• 8.1 引言
• 8.2 算法
• 8.3 收敛性分析
• 结论
• 参考文献
• 附录A （攻读学位期间所发表的学术论文目录）
• 致谢