一、一个新的共轭投影梯度算法及其超线性收敛性（论文文献综述）
张冬冬[1]（2021）在《统计学习中的共轭梯度法研究》文中研究指明对于统计学习中的优化算法,一直吸引着许多学者进行研究.本文主要针对统计学习,对于二分类数据集进行分类时,提出了两种新的优化算法分别求解最小二乘支持向量机和正则化逻辑回归模型,在适当的假设条件下对于算法搜索方向的下降性和算法的收敛性进行了讨论,并通过一系列的实验验证了这两种新算法的有效性和可行性.其主要研究工作如下:第一、将最小二乘支持向量机的训练转化成一个线性系统的求解,再将该线性系统的求解转化为无约束优化问题的求解.对于此,在经典的共轭梯度方法的基础上提出一种新的共轭梯度法.理论上在一定的假设条件下,分析了所提的算法具有充分下降性和全局收敛性,最后的数值实验也说明了新算法是有效可行的.第二、对于二分类问题中的逻辑回归模型,在求解逻辑损失函数最小值时采用极大似然估计法得到最优参数,在这个损失函数的项上添加一个2l范数为正则化逻辑回归.用信赖域谱共轭梯度算法来对2l范数逻辑回归模型进行求解.在合适的假设条件下,理论上给出了新的算法的充分下降性和收敛性证明.在数值实验中,对于二分类问题,给出了新算法和随机梯度算法对一些数据集进行分类时的数值计算结果,并对其进行比较,验证了新算法的有效性和可行性.
张小亚[2]（2019）在《几类新型梯度算法的设计与收敛性研究》文中研究说明随着科学技术日新月异的发展,尤其是以互联网技术为代表的网络时代的到来,各应用领域涉及的优化问题数据规模愈加庞大。梯度类算法作为求解优化问题的一类普适性算法,因其低复杂度的计算形式和较为完善的理论基础得到了广泛的应用。研究新型梯度类算法具有重要的理论价值和应用前景。一方面,数据时代应用发展中对高效优化算法的追求要求我们设计高效的梯度算法格式;另一方面,新型梯度算法投入到实际应用中会遇到理论保证上的挑战,需要我们不断挖掘新的数学概念、开发新的证明工具、提出新的证明方法。结合优化问题的结构特征设计、分析新型梯度类算法将极大丰富现有优化算法的理论研究内容,同时给各应用领域中出现的优化问题提供新的求解思路。本文针对几类具有特殊结构的优化问题,设计了几种新型梯度算法,围绕着算法格式、理论分析、实验论证等方面进行了系统的研究。以下是本文的主要工作和创新点:1、针对一类带和函数的凸优化问题,设计了惯性加速的临近增量累积梯度迭代格式。本文针对带和函数的优化问题,提出了一类惯性临近增量累积梯度算法。分析了算法生成的目标函数值和迭代点在梯度Lipschitz连续性和强凸性的假设条件下的线性收敛性;其次弱化了强凸性条件,并用另一种基于Lyapunov函数的证明方法证明了惯性临近增量累积梯度算法的线性收敛性。最后通过两个仿真实例验证了算法的加速效果。2、针对一类不满足梯度Lipschitz连续性的非凸非光滑优化问题,设计了外推Bregman临近梯度迭代格式。本文引入外推格式以加速Bregman临近梯度算法,用于求解非Lipschitz连续的非光滑非凸问题。首先在一般假设条件下证明了BPGe算法生成序列的极限点都是原问题的稳定点。其次,进一步引入Kurdyka-（?）ojasiewicz条件后,证明了BPGe算法生成的整个序列收敛到原问题的稳定点。最后通过泊松线性逆问题和二次逆问题的实验验证了外推格式带来的加速效果。3、针对一类带耦合项的非凸非光滑优化问题,设计了两种交替极小化迭代算法格式。本文针对带耦合项的非凸优化问题,提出了两类新型的交替迭代梯度算法。第一种是非凸临近交替极小化方法,通过引入一个新的辅助变量,将原问题分裂为两个相对简单的子问题,并对每一个子问题利用临近点方法交替求解。理论上分析了在满足Kurdyka-（?）ojasiewicz性质时,算法生成的整个序列收敛至原问题的稳定点。第二种是Bremgan原对偶算法,通过引入一个对偶辅助变量,将原问题转化为鞍点问题,然后引入Bregman距离取代常见原对偶算法中的二次距离,理论上分析了该算法的收敛性。最后,用l0极小化问题验证了非凸临近交替极小化方法的有效性;用泊松去噪问题验证了Bremgan原对偶算法的有效性。4、针对求解非光滑凸优化问题的临近梯度算法,补充了其关于临近梯度范数的精确最弱线性收敛率的估计结果,改进了线性收敛率的证明。临近梯度算法是一种十分经典的算法,收敛性证明的研究结果已经十分深入。本文首先在梯度Lipschitz连续性和强凸性的假设条件下,建立了新的关于临近梯度范数的精确最弱线性收敛率估计,补充了现有理论结果。其次,改进了现有的下降引理,基于新的引理,在Polyak-（?）ojasiewicz不等式条件下改进了非强凸条件下目标函数值的线性收敛率结果。
楚王莉[3]（2019）在《基于三次正则的梯度算法研究》文中研究表明随着当今社会经济和科学技术的飞速发展,现实生活中涌现出大量的大规模优化问题.大规模优化问题广泛应用于国防建设、工程设计、农业生产等多个领域.梯度算法是解决优化问题的一类重要方法,其具有计算简单、易于储存等优点,是求解大规模无约束优化问题的一种较好的选择,更能适应当今大数据、云计算的时代.其中Barzilai-Borwein（BB）算法以其简便性和高效的数值性能激发起人们对梯度法研究的热情.众所周知,梯度模型的建立与选择对梯度算法的数值性能有着至关重要的影响,因此构建更准确且有效的梯度模型不仅具有理论意义,同样也具有非常重要的实际应用价值.近年来,无约束优化问题的三次正则算法作为一种新的高效算法被提出,成为信赖域算法和线搜索算法之外的一种新选择.三次正则算法的基本思想是通过对目标函数的三次过高估计模型求近似全局极小值来达到求解近似目标函数极小值的目的.目标函数Hessian矩阵是L连续时,三次正则模型拥有比最速下降模型更好的计算复杂度.自适应的三次正则化算法和线搜索一样都是求解无约束优化问题的重要方法,如何充分利用它们的优点,高效的将两种方法结合是一个新的挑战.本文针对梯度算法的高效性,结合三次正则化模型提出了两类新的梯度算法,主要工作如下:针对梯度法,利用三次正则化模型能够包含比二次模型更多的函数信息的特点,构造出当前迭代点的三次正则化近似最优模型,计算出新的近似最优步长.并建立合理的模型选择机制,自适应的选取二次模型或者三次正则化模型.此外,对正则参数的更新方式做了适当改进来匹配新算法.提出一种基于三次正则化模型的求解无约束优化问题的近似最优梯度法,并且建立了算法的全局收敛性.设计一个BB类型参数,构造一个含有BB类型参数的标量矩阵来近似目标函数的Hessian矩阵.构造当前迭代点处的三次正则化模型,通过极小化三次正则化模型求解试探步,简化三次正则化算法子问题的求解过程,并提出了一种简单模型的三次正则化BB算法.考虑到BB算法的非单调性,结合非单调线搜索技术提出一种非单调的简单模型的三次正则化BB算法.在假设条件成立的情况下,建立了算法的全局收敛性.对给出的函数测试集,所提算法的数值性能优于传统的BB算法和近似最优梯度算法GM-AOS（cone）,并较于着名的有限内存共轭梯度算法CG DESCENT（6.0）有一定的竞争力.
高佩婷[4]（2019）在《含有特殊参数的三项非线性共轭梯度算法及应用研究》文中指出本文主要研究含有特殊参数的三项非线性共轭梯度算法及其推广形式,并应用于求解大规模非线性单调方程组、图像去噪和压缩感知。第一章介绍所研究问题的学术背景和相关研究成果以及一些相关的知识。第二章提出一个含有谱商参数的三项无导数投影算法。首先,提出一个含谱商参数的三项共轭梯度法,该方法满足Dai-Liao共轭条件、拟Newton割线方程和充分下降条件,而且这些性质不依赖于线搜索。然后结合Solodov和Svaiter提出的投影技术,得到一个含有谱商参数的三项无导数投影算法。在恰当的假设条件下,该算法是全局和R阶线性收敛的。最后,该算法应用于求解大规模单调非线性方程组,取得了较好的数值实验结果。第三章提出一个含有单个自适应参数的三项共轭梯度法,该方法在任何线搜索下都是充分下降的。其自适应参数是通过极小化相关矩阵的最大特征值和条件数的一个上界来获得的。在Wolfe线搜索条件下,证明了该方法的全局收敛性。对160个标准测试函数的实验结果,表明该方法是有效的。最后,用该方法求解一个图像去噪模型,取得了较好的实验结果。第四章提出两个含有单个自适应参数的三项无导数投影算法。首先构造一个含有单个自适应参数的三项共轭梯度法,自适应参数是通过极小化相关矩阵与BFGS迭代矩阵之间的距离获得的。结合投影技术,提出两个三项无导数投影算法。在恰当的假设条件下,证明了两个算法的全局收敛性和R阶线性收敛速率。最后我们应用这两个算法来求解大规模含有凸约束的单调非线性方程组和一个压缩感知问题,取得了较好的实验结果。第五章提出一个含有双参数的三项投影算法。首先构造一个含有双参数的三项共轭梯度法,其搜索方向是下降的并且满足动态的修正型自适应共轭条件。参数是通过极小化对称相关矩阵和Perry阵获得的。然后结合投影技术,提出一个三项投影算法。在恰当的假设条件下,该算法是全局和R阶线性收敛的。最后该算法应用于求解大规模含有凸约束的单调非线性方程组和一个压缩感知问题,取得了较好的实验结果。
吕长青[5]（2019）在《几类张量方程迭代算法研究》文中研究表明张量方程在有限元、有限差分、谱方法、高维线性偏微分方程的离散化、张量互补问题、数据挖掘、数值偏微分方程等领域有着广泛的应用.基于张量格式的迭代算法,克服了张量方程转化为线性方程组时维数快速增加的缺点,已经成为数值代数领域研究的热点问题之一.张量方程是线性方程组以及矩阵方程的推广.求解线性方程组以及矩阵方程的算法已得到广泛的研究,主要包括分裂迭代法与子空间方法.目前,这些算法已被推广到张量方程的求解.本文从数值计算的角度,结合数值代数以及优化计算的方法对包括线性张量方程以及多线性张量方程的算法进行研究.主要专注于建立与设计基于张量格式的线性以及多线性张量方程的一般解以及约束解的算法,并证明这些算法的收敛性,同时通过数值实验验证这些算法的有效性.第二章,首先针对一类三阶广义耦合Sylvester张量方程,设计了求其一般解的基于张量格式的修正共轭梯度法（MCGBTF）,证明了该算法的收敛性并将该算法推广到求解一般阶的广义Sylvester耦合张量方程.其次,针对一类广义耦合Sylvester张量方程给出了基于张量形式的BCR算法,同时证明了该算法的收敛性.最后通过数值实验验证了算法的可行性.第三章,首先,给出了中心对称张量以及反中心对称张量的定义,推广了中心对称矩阵与反中心对称矩阵的概念.其次,针对一类广义Sylvester张量方程提出了求其中心对称以及反中心对称解的基于张量格式的迭代算法,证明了该算法在不考虑舍入误差的情况下的收敛性.第三,针对相容方程存在无限多解的情况,证明了对于给定的特殊初始张量其极小范数解具有唯一性.最后通过数值实验验证了该算法的有效性.第四章,针对一类三阶广义耦合Sylvester张量方程,将求非对称线性方程组的共轭方向法（CDA）转换成张量格式求其对称解.首先,给出了三阶张量按模转置的定义并证明了三阶张量对称与按模转置之间的关系;其次,针对三阶广义耦合张量方程提出了求其对称解的张量格式共轭方向算法,同时利用按模转置的性质证明了该算法的收敛性;第三,针对极小范数解,证明了对于相容方程在给定特殊初始张量时解的唯一性.最后,给出了数值实验验证了算法的有效性.第五章,针对一类广义耦合Sylvester张量方程提出了求其自反解以及反自反解的张量格式迭代算法.首先,利用广义自反矩阵以及张量与矩阵按模乘积运算定义了自反与反自反张量;其次,设计了求该广义耦合Sylvester张量方程的自反以及反自反解的修正的共轭方向法,并证明了该算法的收敛性;第三,当方程存在自反解或反自反解时,证明了算法在给定特殊初始张量时其极小范数解是唯一的;最后通过数值实验验证了算法的有效性.第六章,针对半对称多线性张量方程,首先将其转化为无约束优化问题,然后给出了基于Armijo准则的LM方法求解该无约束问题,并证明了该算法的全局收敛性以及在局部误差界条件下具有二次收敛性.作为应用,给出求实半对称张量的H-特征对的LM算法并证明了该算法的收敛性.最后通过数值实验验证了所给算法的有效性.第七章,针对一类非齐次多线性张量方程提出了修正BFGS算法对其求解.对于最小二乘方法转化的无约束优化问题,首先通过对校正矩阵以及搜索技术的改进提出了一个新的BFGS算法,其次证明了该算法对此优化问题在非凸的条件下的全局收敛性,最后通过数值实验验证了该算法的有效性.
李亚敏[6]（2019）在《几类谱共轭梯度法》文中提出谱共轭梯度法是求解大规模无约束优化的一种新的迭代算法,它的基本思想是将谱梯度方法和共轭梯度法结合起来.由于算法简单有效,存储需求小,对二次函数是R-超线性收敛的等优点,逐渐受到人们的关注和研究.本文在前人研究成果的基础上,构造了三种不同形式的谱共轭梯度法.首先,本文在文献[37]中已提出的共轭系数βkRMIL+的基础上引入谱系数δk,得到一个新谱共轭参数βkSN公式,从而构造了一个新的谱共轭梯度法.并且新方法的搜索方向在任何线搜索下都是充分下降的.在标准Wolfe线搜索下,证明了新公式构成的算法的全局收敛性.其次,本文在文献[37]中共轭系数βkRMIL+和文献[32]中共轭系数βk*的基础上给出了βk的一个新的选取.该算法每次迭代时总能自动下降,并且此性质既不依赖于所使用的线搜索,也不依赖于目标函数的凸性.并结合Armijo线性搜索,在一般假设条件下,研究了该算法的全局收敛性.最后,本文受已有文献成果的启发,改进谱系数θk,并在已有共轭系数βkRMIL公式的基础上,构造一个新谱共轭梯度法.新算法不依赖于任何线搜索满足着名的共轭条件:dkTyk-1=0,且新算法在任何线搜索下都是充分下降的.在修正的Wolfe线性搜索下验证了该算法的充分下降性和全局收敛性.
薛艳勤[7]（2019）在《基于非单调信赖域算法的研究》文中提出现实生活中,许多出现在科学、工程、管理、经济和运营研究中的问题都可以转化为无约束优化问题,信赖域算法是求解这类问题的重要方法之一.近年来,随着非单调技术被广泛应用于搜索算法中,最优化领域的非单调信赖域方法引起了极大的关注.非单调技术的恰当使用不仅能有效提升算法的收敛速率,而且可以促使信赖域方法更容易找到全局最优解.尽管目前提出的非单调自适应信赖域算法同传统的信赖域算法相比较已经有了较大的进步,但在处理无约束优化问题时仍然需要克服计算量大、迭代次数多、运行速度慢等困难.有鉴于此,本文针对大规模无约束优化问题,将信赖域半径的自适应更新策略和BB算法思想分别与非单调技术进行有效的结合,利用信赖域模型提出两种改进的非单调信赖域算法.在必要的假设下,建立了新算法的全局收敛性和超线性收敛速度,数值实验展示其具有相对较强的竞争优势.主要工作如下:首先,提出一种改进的非单调信赖域算法.新算法通过一个向量内积获得矩阵不正定的信息后,不再使用上一次迭代得到的矩阵值,而是改用由多步迭代信息得到的修正BFGS公式更新矩阵,使用该修正公式时,无需假设目标函数是凸的,仍可以保证矩阵在计算过程中正定,从而减少了算法的迭代次数.此外,将基于函数平均权重的非单调技术应用于高效的自适应信赖域算法框架中,得到一个不同于传统信赖域算法的目标函数下降量.在较弱的假设条件下,证明了算法全局收敛到一阶稳定点.数值实验结果表明,在Andrei给出的测试集和CUTEst测试集中,改进的非单调信赖域算法在迭代时间和迭代次数上都优于AINATR和RNATR算法.其次,提出一种修正的非单调信赖域BB算法.由于BB算法的简单性、鲁棒性、低内存要求和全局收敛性等优点,该方法充分利用BB算法的思想,使用多步拟牛顿割线方程,导出修正的BB步长,利用步长信息得到对角标量矩阵使其近似目标函数的Hessian矩阵,由此一个新的信赖域子问题模型被构造.此外,对被缩放无记忆拟牛顿更新公式BFGS或DFP进行特征值分析,在此基础上,提出了一种自适应的信赖域半径更新策略.在适当的条件下,算法的全局收敛性和超线性收敛速度被证明.数值实验表明,与已有的BB类型的算法相比,新的算法呈现出更明显的阶梯状和单调性,因此收敛速度更快.最后,我们对文中所提出的两种新方法进行了总结,并对相关课题进一步的延续、拓展进行了思考与展望.
方晓伟[8]（2018）在《解无约束优化和非线性方程组的直接搜索法研究》文中进行了进一步梳理非线性优化是一门应用性很强的学科,它在国防、经济、金融、工程、贸易等许多领域有着广泛的应用.另外,非线性优化问题的求解和非线性方程组的求解有着密切联系,很多非线性优化问题最后都归结为求解非线性方程组.本论文主要研究非线性优化中的无约束优化问题直接搜索法和非线性方程组直接搜索法.整篇论文有四个方面的研究内容一是对于无约束优化问题,我们在Coope和Price的基于网格单元框的直接搜索法框架下,提出了一种基于网格单元框和自适应BB算法的直接搜索法.该算法在每一步迭代时首先用最小正基来构建网格单元框并利用网格单元框来得到搜索方向,然后用自适应BB算法直接得到步长,最后根据目标函数的局部性质旋转最小正基.在一般的假设条件下我们可以证明算法的收敛性,数值实验表明该算法是有效的.这是第三章的主要内容二是对于无约束优化问题,我们将Coope和Price的基于网格单元框的直接搜索法和径向基函数插值信赖域模型相结合,提出了一种混合直接搜索法.该算法在每一步迭代时用最小正基构建网格单元框并利用单元框来建立径向基函数插值信赖域模型.当由径向基函数插值信赖域模型得到的试验点目标函数值不满足充分下降条件时,该算法采用PRP公式得到搜索方向.此外,为了提高算法效率,该算法还根据目标函数的局部性质来旋转最小正基.我们给出了算法的收敛性证明,数值实验表明该算法是有效的.这是第四章的主要内容三是对于非线性方程组,我们在一般的拟牛顿方程基础上构建了一个新拟牛顿方程,新拟牛顿方程利用了最近三个迭代点的信息构建二次函数模型,从而比一般的拟牛顿方程利用了更多的函数信息.我们利用新牛顿方程构建了一个求解非线性方程组的修正拟牛顿算法,该算法具有局部超线性收敛性质.数值实验表明该算法对于求解中小规模的非线性方程组是有效的.这是第五章的主要内容.四是对于非线性方程组,我们在谱残差直接搜索法框架下,将无约束优化问题中的RMIL共辄梯度法推广到求解非线性方程组,从而提出了一种解非线性方程组的RMIL共轭梯度直接法.该算法在每一步迭代时用RMIL共辄梯度法来得到搜索方向,并利用非单调线搜索条件,最后通过回溯法得到步长.我们证明了算法的收敛性.数值实验表明该算法对于求解中大规模的非线性方程组是有效的.这是第六章的主要内容.
孙中波[9]（2016）在《动态双足机器人有限时间稳定性分析与步态优化控制研究》文中进行了进一步梳理动态双足机器人具有少控制自由度、低能耗的优点,可以实现拟人自然步态,通过微小的能量输入,将运动过程中的动能和势能合理转换成等效的驱动能量,实现动态双足机器人多工况、多任务的稳定周期运动。近年来,动态行走理论在双足机器人的原型机研制过程中得到了广泛应用,然而,动态双足机器人控制系统分析与综合的理论研究进程相对滞后于原型机的开发研制,有关动态双足机器人的步态优化控制与鲁棒稳定性的研究远远没有达到完善的地步,特别是动态双足机器人周期步态的有限时间稳定性、鲁棒性以及步态优化控制理论和方法亟需深入研究。本文以动态双足机器人为研究对象,主要针对动态双足机器人的有限时间稳定性、鲁棒性、步态优化控制以及非线性优化算法四个关键问题进行深入研究,完善以动态双足机器人为代表的一类脉冲混合动力系统稳定性分析理论,形成脉冲混合动力系统有限时间稳定性分析方法的统一框架,提高动态双足机器人的动态稳定行走效率,实现双足机器人低能耗、高效、拟人的行走步态。具体研究内容和创新工作包括如下几个方面:第一,针对非线性数值优化问题,提出快速收敛的非线性数值优化算法,分别为非线性共轭梯度算法、谱共轭梯度算法以及信赖域-序列二次规划（SQP）算法。针对无约束优化问题,提出修正的三项非线性共轭梯度算法以及修正的谱共轭梯度算法。在不依赖于线搜索准则条件下,这两类算法的搜索方向均满足充分下降条件,便于证明算法的全局收敛性。利用测试库函数进行数值对比试验,数值结果表明提出的两类算法都优于经典的算法。针对不等式约束优化问题,提出一类具有超线性收敛速率的信赖域-SQP算法。通过引入“压缩因子”使得下一次迭代点始终保持在由约束条件组成的凸多面体中,从而,克服二次规划子问题不相容的缺陷。利用高阶校正方向克服算法产生的Maratos效应。当搜索方向满足信赖域试探步搜索条件时,算法避免求解高阶校正方向,简化算法的结构,提高算法的计算效率。在适当条件下,分析算法的全局收敛性以及超线性收敛性。数值对比试验表明提出的信赖域-SQP算法是可行的、有效的。这几类非线性数值优化算法为求解动态双足机器人的最优运动轨迹和最佳控制输入以及最优鲁棒控制器奠定了理论基础和算法框架。第二,基于有限时间稳定控制Lyapunov函数、混合零动态以及庞加莱回归映射原理,分析以动态双足机器人动力学模型为代表的一类脉冲混合动力系统的有限时间稳定性。假设脉冲混合动力系统连续部分的周期轨道存在于零动态不变子流形。通过分析脉冲混合动力系统周期轨道的左连续性,构造连续可微的有限时间稳定控制Lyapunov函数,设计有限时间稳定反馈控制器,实现脉冲混合动力系统连续部分的周期轨道有限时间收敛到零动态曲面。针对脉冲混合动力系统的离散部分,采用不动点原理和控制Lyapunov函数使得连续部分的流在有限时间内横穿离散系统的切换曲面,实现闭环脉冲混合动力系统的有限时间稳定。根据有限时间稳定性判别准则,对动态双足机器人动力学数学模型进行机理分析,形成脉冲混合动力系统有限时间稳定性理论的统一框架。第三,针对动态双足机器人的鲁棒性问题,设计有限时间稳定的最优鲁棒控制器。对于动态双足机器人参数摄动情况,利用有限时间稳定控制Lyapunov函数设计最优鲁棒控制器,分析动态双足机器人的鲁棒稳定性。结合有限时间稳定控制Lyapunov函数和控制扭矩饱和条件,把求解最优鲁棒控制器问题转化为带有等式约束条件的非线性优化问题,通过设计求解非线性等式约束规划问题的凸优化方法在线求解最优鲁棒控制器,实现动态双足机器人的高效、稳定行走。第四,针对动态双足机器人步态优化控制问题,提出两类求解最优运动轨迹和最佳控制输入的非线性数值优化算法。基于离散力学与优化控制技术,把求解最优运动轨迹和最佳控制输入的泛函极值问题转化为带有约束条件的非线性优化问题。首先,利用光滑化罚函数方法把带有非线性约束条件的非线性优化问题转化为无约束优化问题,简化算法的结构,便于实现。通过调整光滑化因子,提高算法的收敛速度,使得双足机器人的运动轨迹迅速收敛到稳定的周期轨道,实现双足机器人的动态稳定行走。其次,提出具有超线性收敛特性的可行序列二次规划算法（FSQP）求解最优运动轨迹和最佳控制输入。该算法克服了传统SQP算法的缺陷,并且,把求解少自由度的双足机器人步态优化问题推广到多自由度的双足机器人步态优化问题,揭示人类步行运动机理,实现双足机器人低能耗、高效、稳定行走步态。最后,总结全文所做的工作,提出今后进一步需要研究的问题。
戴彧虹,刘新为[10]（2014）在《线性与非线性规划算法与理论》文中研究说明线性规划与非线性规划是数学规划中经典而重要的研究方向.主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题.交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍受重视.全局优化是一个对于应用优化领域非常重要的研究方向.因此也试图介绍这两个方面的一些最新研究进展和问题.
二、一个新的共轭投影梯度算法及其超线性收敛性（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、一个新的共轭投影梯度算法及其超线性收敛性（论文提纲范文）
（1）统计学习中的共轭梯度法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 主要符号表 |
| 第一章 绪论 |
| §1.1 选题背景与研究意义 |
| §1.2 国内外研究现状与发展态势 |
| §1.3 预备知识 |
| §1.3.1 共轭梯度法 |
| §1.3.2 谱共轭梯度法 |
| §1.4 本文主要工作及内容安排 |
| 第二章 支持向量机和逻辑回归的理论基础 |
| §2.1 支持向量机 |
| §2.1.1 最优超平面和支持向量 |
| §2.1.2 线性可分和不可分支持向量机 |
| §2.1.3 非线性可分支持向量机 |
| §2.2 逻辑回归 |
| §2.2.1 逻辑回归的介绍及sigmoid函数 |
| §2.2.2 逻辑回归损失函数及正则化 |
| §2.3 小结 |
| 第三章 求解最小二乘支持向量机的一个改进共轭梯度法 |
| §3.1 引言 |
| §3.2 改进的共轭梯度法搜索方向的充分下降性及其全局收敛性 |
| §3.2.1 改进的共轭梯度法 |
| §3.2.2 ZD算法 |
| §3.2.3 ZD算法搜索方向的充分下降性及收敛性分析 |
| §3.3 数值实验 |
| §3.4 小结 |
| 第四章 信赖域谱共轭梯度法求解正则化逻辑回归模型 |
| §4.1 引言 |
| §4.2 信赖域算法及谱共轭梯度法求解信赖域子问题 |
| §4.2.1 信赖域算法 |
| §4.2.2 谱共轭梯度法求解信赖域子问题 |
| §4.3 数值实验 |
| §4.4 小结 |
| 第五章 总结与展望 |
| 参考文献 |
| 致谢 |
| 作者在攻读硕士期间主要研究成果 |
（2）几类新型梯度算法的设计与收敛性研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.1.1 选题背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 梯度算法的临近格式 |
| 1.2.2 梯度算法的Bregman临近格式 |
| 1.2.3 梯度算法的增量格式 |
| 1.2.4 梯度算法的交替迭代格式 |
| 1.2.5 梯度算法的加速格式 |
| 1.3 本文研究内容 |
| 第二章 基础知识回顾 |
| 2.1 基础定义 |
| 2.2 Moreau临近点算子 |
| 2.3 Bregman临近点算子 |
| 第三章 惯性临近增量累积梯度算法 |
| 3.1 iPIAG算法描述 |
| 3.2 收敛性分析 |
| 3.2.1 强凸性条件下的线性收敛性 |
| 3.2.2 二次增长条件下的线性收敛性 |
| 3.3 数值试验 |
| 3.3.1 仿真算例 |
| 3.3.2 Lasso问题 |
| 3.4 本章小结 |
| 第四章 外推Bregman临近梯度算法 |
| 4.1 BPGe算法描述 |
| 4.2 收敛性分析 |
| 4.3 数值实验 |
| 4.3.1 泊松线性逆问题 |
| 4.3.2 二次逆问题 |
| 4.4 本章小结 |
| 第五章 两类交替迭代算法 |
| 5.1 非凸临近交替极小化算法 |
| 5.1.1 PALM算法描述 |
| 5.1.2 收敛性分析 |
| 5.2 Bregman原对偶算法 |
| 5.2.1 PDBreg算法描述 |
| 5.2.2 收敛性分析 |
| 5.3 数值实验 |
| 5.3.1 高斯去噪问题求解 |
| 5.3.2 泊松去噪问题求解 |
| 5.4 本章小节 |
| 第六章 临近梯度算法的收敛性改进 |
| 6.1 临近梯度算法 |
| 6.1.1 两个重要引理 |
| 6.2 理论分析 |
| 6.2.1 主要结论 |
| 6.2.2 推论 |
| 6.3 小结 |
| 第七章 总结与展望 |
| 7.1 本文工作总结 |
| 7.2 未来工作展望 |
| 致谢 |
| 参考文献 |
| 作者在学期间取得的学术成果 |
（3）基于三次正则的梯度算法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 符号对照表 |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 引言 |
| 1.2 BB算法及其应用 |
| 1.3 线搜索方法 |
| 1.3.1 线搜索 |
| 1.3.2 线搜索方法 |
| 1.4 三次正则化算法 |
| 1.5 论文的内容和框架 |
| 第二章 一种新的基于三次正则的近似最优梯度法 |
| 2.1 引言 |
| 2.2 算法及其性质 |
| 2.3 收敛性分析 |
| 2.4 数值结果 |
| 2.5 本章小结 |
| 第三章 两个改进的简单模型三次正则化BB算法 |
| 3.1 引言 |
| 3.2 两种简单模型的三次正则化BB算法 |
| 3.2.1 自适应三次正则化算法 |
| 3.2.2 简单模型的三次正则化BB算法 |
| 3.2.3 非单调的简单模型三次正则化BB算法 |
| 3.3 收敛性分析 |
| 3.4 数值结果 |
| 3.5 本章小结 |
| 第四章 总结与展望 |
| 4.1 研究总结 |
| 4.2 研究展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
（4）含有特殊参数的三项非线性共轭梯度算法及应用研究（论文提纲范文）
| 中文摘要 |
| 英文摘要 |
| 符号表 |
| 1 绪论 |
| 1.1 经典的共轭梯度方法和相关研究 |
| 1.2 含有特殊参数的三项共轭梯度法的研究现状 |
| 1.3 一些基本定义 |
| 1.4 一些基本假设和重要引理 |
| 1.5 本文的主要工作 |
| 2 含有谱商参数的三项无导数投影算法 |
| 2.1 引言 |
| 2.2 算法 |
| 2.3 全局收敛性 |
| 2.4 R阶线性收敛率 |
| 2.5 数值实验 |
| 2.6 本章小结 |
| 3 含有自适应参数的三项共轭梯度法及应用 |
| 3.1 引言 |
| 3.2 算法 |
| 3.3 全局收敛性 |
| 3.4 数值实验 |
| 3.5 去噪的应用 |
| 3.6 本章小结 |
| 4 含有自适应参数的三项投影算法及应用 |
| 4.1 引言 |
| 4.2 算法 |
| 4.3 全局收敛性 |
| 4.4 R-线性收敛率 |
| 4.5 数值实验 |
| 4.6 在压缩感知中的应用 |
| 4.6.1 压缩感知 |
| 4.6.2 数值结果 |
| 4.7 本章小结 |
| 5 含有两个自适应参数的三项投影算法及应用 |
| 5.1 引言 |
| 5.2 算法 |
| 5.3 全局收敛性 |
| 5.4 R阶线性收敛率 |
| 5.5 数值实验 |
| 5.6 在压缩感知中的应用 |
| 5.6.1 压缩感知 |
| 5.6.2 数值结果 |
| 5.7 本章小结 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 附录 |
| A.作者在攻读博士学位期间发表的论文目录 |
| B.学位论文数据集 |
| 致谢 |
（5）几类张量方程迭代算法研究（论文提纲范文）
| 中文摘要 |
| Abstract |
| 符号说明 |
| 绪论 |
| 第1章 预备知识 |
| 1.1 张量的相关定义与性质 |
| 1.2 求解线性方程组的Krylov子空间方法 |
| 1.3 求解非线性方程组的常用算法 |
| 1.4 本章小结 |
| 第2章 求解广义耦合Sylvester张量方程一般解的MCG算法与BCR算法 |
| 2.1 研究背景 |
| 2.2 基于张量格式的修正共轭梯度法及其收敛性 |
| 2.3 基于张量格式的BCR算法及其收敛性 |
| 2.4 数值实验 |
| 2.5 本章小结 |
| 第3章 求解一类广义Sylvester张量方程中心对称/反中心对称解的迭代算法 |
| 3.1 基本概念 |
| 3.2 基于张量形式的迭代算法及其收敛性 |
| 3.3 极小范数解 |
| 3.4 数值实验 |
| 3.5 本章小结 |
| 第4章 求解一类3阶广义耦合Sylvester张量方程对称解的共轭方向法 |
| 4.1 预备知识 |
| 4.2 基于张量格式求对称解的修正共轭方向法及其收敛性 |
| 4.3 极小范数解 |
| 4.4 数值实验 |
| 4.5 本章小结 |
| 第5章 求解广义耦合Sylvester张量方程的自反/反自反解的共轭方向法 |
| 5.1 基本定义 |
| 5.2 基于张量格式的修正共轭方向法及其收敛性 |
| 5.3 极小范数解 |
| 5.4 数值实验 |
| 5.5 本章小结 |
| 第6章 求解多线性半对称张量方程的LM算法 |
| 6.1 研究背景 |
| 6.2 LM算法及其收敛性 |
| 6.3 应用 |
| 6.4 数值实验 |
| 6.5 本章小结 |
| 第7章 求解多线性张量方程的修正BFGS算法 |
| 7.1 研究背景 |
| 7.2 修正的BFGS算法及其收敛性 |
| 7.3 数值实验 |
| 7.4 本章小结 |
| 第8章 结论与展望 |
| 参考文献 |
| 攻读学位期间承担的科研任务与主要成果 |
| 致谢 |
| 个人简历 |
（6）几类谱共轭梯度法（论文提纲范文）
| 致谢 |
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 最优化问题 |
| 1.2 线搜索方法 |
| 1.3 几种常用的无约束优化方法 |
| 1.3.1 最速下降法 |
| 1.3.2 Newton法 |
| 1.3.3 拟Newton法 |
| 1.3.4 共轭梯度法 |
| 1.4 一个基本假设及两个重要条件 |
| 1.5 本文的主要工作 |
| 2 谱共轭梯度法及相关研究现状 |
| 2.1 谱共轭梯度法基本思想 |
| 2.2 谱共轭梯度算法 |
| 2.3 谱共轭梯度法的相关研究 |
| 3 一类基于Wolfe线搜索下新的谱共轭梯度法 |
| 3.1 引言 |
| 3.2 算法及其下降性 |
| 3.3 全局收敛性 |
| 4 一类基于Armijo线搜索下新的谱共轭梯度法 |
| 4.1 引言 |
| 4.2 算法及其下降性 |
| 4.3 全局收敛性 |
| 5 一类改进的谱共轭梯度法 |
| 5.1 引言 |
| 5.2 谱参数θk及算法下降性 |
| 5.3 全局收敛性 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 主要创新点 |
| 6.3 展望 |
| 参考文献 |
| 作者简历 |
| 学位论文数据集 |
（7）基于非单调信赖域算法的研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 符号对照表 |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 信赖域半径的更新策略 |
| 1.2.2 非单调技术的发展 |
| 1.3 研究内容和结构安排 |
| 第二章 信赖域算法的基础知识 |
| 2.1 最优性条件 |
| 2.2 信赖域算法的基本框架 |
| 2.3 信赖域子问题的求解 |
| 第三章 非单调自适应信赖域算法 |
| 3.1 引言 |
| 3.2 矩阵的更新和非单调技术的应用 |
| 3.3 改进的非单调自适应信赖域算法 |
| 3.4 收敛性分析 |
| 3.5 数值实验 |
| 3.6 本章小结 |
| 第四章 非单调信赖域BB算法 |
| 4.1 引言 |
| 4.2 修正的BB步长和半径的更新策略 |
| 4.3 非单调自适应信赖域BB算法 |
| 4.4 收敛性分析 |
| 4.5 数值实验 |
| 4.6 本章小结 |
| 第五章 结论与展望 |
| 5.1 主要结论 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
（8）解无约束优化和非线性方程组的直接搜索法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 注释表 |
| 第一章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 无约束优化的直接搜索法 |
| 1.2.2 非线性方程组的直接搜索法 |
| 1.3 研究内容 |
| 第二章 预备知识 |
| 2.1 解无约束优化的直接搜索法 |
| 2.1.1 定向直接搜索法 |
| 2.1.2 基于单纯形梯度的线搜索法 |
| 2.1.3 基于插值的信赖域法 |
| 2.2 解非线性方程组的直接搜索法 |
| 2.2.1 拟牛顿法 |
| 2.2.2 谱残差直接法 |
| 第三章 基于网格和自适应BB算法的无约束优化直接搜索法 |
| 3.1 引言 |
| 3.2 基于网格单元框和自适应BB算法的直接搜索法 |
| 3.2.1 搜索方向 |
| 3.2.2 步长 |
| 3.2.3 旋转正基 |
| 3.3 收敛性分析 |
| 3.4 数值试验 |
| 3.5 本章小结 |
| 第四章 基于网格和径向基函数的无约束优化直接搜索法 |
| 4.1 引言 |
| 4.2 基于网格单元框和径向基函数插值模型的直接搜索法 |
| 4.2.1 径向基函数插值信赖域模型 |
| 4.2.2 PRP搜索方向 |
| 4.2.3 旋转正基 |
| 4.3 收敛性分析 |
| 4.4 数值实验 |
| 4.5 本章小结 |
| 第五章 基于新拟牛顿方程的非线性方程组直接搜索法 |
| 5.1 引言 |
| 5.2 基于新拟牛顿方程的修正拟牛顿直接法 |
| 5.3 收敛性分析 |
| 5.4 数值实验 |
| 5.5 本章小结 |
| 第六章 基于RMIL共轭梯度的非线性方程组直接搜索法 |
| 6.1 引言 |
| 6.2 基于RMIL共轭梯度的非单调直接搜索法 |
| 6.3 收敛性分析 |
| 6.4 数值实验 |
| 6.5 本章小结 |
| 第七章 结论与展望 |
| 7.1 本文的主要工作及创新点 |
| 7.2 进一步的研究展望 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果及发表的学术论文 |
（9）动态双足机器人有限时间稳定性分析与步态优化控制研究（论文提纲范文）
| 前言 |
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 课题的研究背景及研究意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 研究现状 |
| 1.2.1 动态双足机器人稳定性分析方法的研究现状 |
| 1.2.2 动态双足机器人鲁棒性的研究现状 |
| 1.2.3 动态双足机器人步态优化控制理论的研究现状 |
| 1.3 存在的主要问题 |
| 1.4 本文的主要内容与章节安排 |
| 1.4.1 研究目标及主要任务 |
| 1.4.2 论文主要研究问题 |
| 1.4.3 科研项目资助情况 |
| 1.4.4 论文章节安排 |
| 第2章 动态双足机器人与优化算法的理论基础 |
| 2.1 引言 |
| 2.2 脉冲混合动力系统数学模型 |
| 2.3 双足机器人动力学数学模型 |
| 2.3.1 基本假设 |
| 2.3.2 Compass-Like双足机器人动力学数学模型 |
| 2.3.3 带上肢的双足机器人动力学数学模型 |
| 2.3.4 RABBIT双足机器人动力学数学模型 |
| 2.4 非线性动力系统相关理论基础 |
| 2.4.1 庞加莱回归映射 |
| 2.4.2 有限时间稳定控制Lyapunov函数和Settling-time函数 |
| 2.4.3 有限时间稳定性以及周期轨道稳定性 |
| 2.5 非线性数值优化算法相关理论基础 |
| 2.5.1 几类线搜索准则 |
| 2.5.2 非线性共轭梯度法 |
| 2.5.3 序列二次规划算法 |
| 2.6 本章小结 |
| 第3章 非线性问题的数值优化算法 |
| 3.1 引言 |
| 3.2 无约束优化的三项修正共轭梯度法及其全局收敛性 |
| 3.2.1 问题提出 |
| 3.2.2 三项共轭梯度法及其全局收敛性 |
| 3.2.3 另一类三项共轭梯度法及其全局收敛性 |
| 3.2.4 数值试验 |
| 3.3 无约束优化的二类修正谱共轭梯度法及其全局收敛性 |
| 3.3.1 问题提出 |
| 3.3.2 一类新的充分下降方向 |
| 3.3.3 两类修正的谱共轭梯度法 |
| 3.3.4 全局收敛性分析 |
| 3.3.5 数值试验 |
| 3.4 不等式约束优化超线性收敛的信赖域-SQP算法 |
| 3.4.1 问题提出 |
| 3.4.2 信赖域-SQP算法 |
| 3.4.3 算法的可行性和全局收敛性分析 |
| 3.4.4 算法的超线性收敛速率 |
| 3.4.5 数值试验 |
| 3.5 本章小结 |
| 第4章 动态双足机器人有限时间稳定性分析 |
| 4.1 引言 |
| 4.2 非线性动力系统的有限时间稳定性分析 |
| 4.2.1 有限时间稳定性的判别准则 |
| 4.2.2 有限时间稳定控制Lyapunov函数 |
| 4.2.3 仿射控制系统的有限时间稳定控制器 |
| 4.3 脉冲混合动力系统的有限时间稳定性分析 |
| 4.4 数值仿真实验 |
| 4.4.1 非线性PD控制器数值仿真试验 |
| 4.4.2 有限时间稳定控制器数值仿真试验 |
| 4.5 本章小结 |
| 第5章 动态双足机器人的鲁棒性分析 |
| 5.1 引言 |
| 5.2 带有不确定项的动态双足机器人动力学模型 |
| 5.3 一类有限时间稳定最优鲁棒控制器 |
| 5.3.1 最优鲁棒控制器的设计 |
| 5.3.2 最优鲁棒控制器的凸优化在线求解算法 |
| 5.4 数值仿真试验 |
| 5.4.1 参数不摄动情况 |
| 5.4.2 参数摄动 1.5 倍情况 |
| 5.4.3 参数摄动3倍情况 |
| 5.5 本章小结 |
| 第6章 动态双足机器人的步态优化控制 |
| 6.1 引言 |
| 6.2 基于DMOC的一类光滑化罚函数算法 |
| 6.2.1 Compass-Like双足机器人周期步态描述 |
| 6.2.2 动态双足机器人连续动力系统和边界条件的离散化 |
| 6.2.3 约束优化问题转化为无约束优化问题 |
| 6.2.4 动态双足机器人步态优化的光滑化罚函数算法 |
| 6.2.5 Compass-Like双足机器人仿真试验 |
| 6.3 基于DMOC的可行序列二次规划算法 |
| 6.3.1 修正的可行序列二次规划算法 |
| 6.3.2 可行序列二次规划算法的适定性和全局收敛性 |
| 6.3.3 Compass-Like双足机器人仿真试验 |
| 6.3.4 RABBIT双足机器人仿真试验 |
| 6.4 本章小结 |
| 第7章 全文总结 |
| 7.1 本文的研究背景与研究目标 |
| 7.2 本文的主要研究工作及结论 |
| 7.3 需要进一步研究的问题 |
| 参考文献 |
| 作者简介及研究成果 |
| 致谢 |
四、一个新的共轭投影梯度算法及其超线性收敛性（论文参考文献）
- [1]统计学习中的共轭梯度法研究[D]. 张冬冬. 桂林电子科技大学, 2021(02)
- [2]几类新型梯度算法的设计与收敛性研究[D]. 张小亚. 国防科技大学, 2019(01)
- [3]基于三次正则的梯度算法研究[D]. 楚王莉. 西安电子科技大学, 2019(02)
- [4]含有特殊参数的三项非线性共轭梯度算法及应用研究[D]. 高佩婷. 重庆大学, 2019(09)
- [5]几类张量方程迭代算法研究[D]. 吕长青. 福建师范大学, 2019(12)
- [6]几类谱共轭梯度法[D]. 李亚敏. 河南理工大学, 2019(07)
- [7]基于非单调信赖域算法的研究[D]. 薛艳勤. 西安电子科技大学, 2019(02)
- [8]解无约束优化和非线性方程组的直接搜索法研究[D]. 方晓伟. 南京航空航天大学, 2018(01)
- [9]动态双足机器人有限时间稳定性分析与步态优化控制研究[D]. 孙中波. 吉林大学, 2016(08)
- [10]线性与非线性规划算法与理论[J]. 戴彧虹,刘新为. 运筹学学报, 2014(01)