导读:本文包含了非光滑非凸优化论文开题报告文献综述及选题提纲参考文献，主要关键词:递归神经网络,非光滑伪凸优化,收敛性
非光滑非凸优化论文文献综述
喻昕,胡悦,马崇,伍灵贞,汪炎林[1]（2019）在《递归神经网络方法解决非光滑伪凸优化问题》一文中研究指出针对目标函数为非光滑伪凸函数且带有等式约束和不等式约束的优化问题,基于罚函数以及微分包含的思想,构建一个层次仅为一层且不包含惩罚算子的新型递归神经网络模型。该模型不用提前计算惩罚参数,能够很好地收敛。理论证明全局解存在,模型的状态解能够在有限的时间内进到原目标函数的可行域并不再离开,其状态解最终收敛到目标函数的一个最优解。仿真实验证实了理论结果的可行性。(本文来源于《计算机应用与软件》期刊2019年11期）
喻昕,马崇,胡悦,伍灵贞,汪炎林[2]（2019）在《一种新型解决非光滑伪凸优化问题的神经网络方法》一文中研究指出优化问题的研究一直以来深受科研工作者的关注,凸优化问题作为优化问题的一个重要部分更是成为研究重点,许多应用神经网络思想提出的模型已经被应用到实际问题中。然而,在机器学习、信号处理、生物信息学等领域中涉及的优化问题往往不是凸优化问题,而是伪凸优化及非凸优化的问题,因此解决后一类问题变得刻不容缓。针对目标函数是非光滑伪凸函数、约束函数由等式和不等式函数构成的优化问题,基于罚函数以及微分包含的思想,构建了一个新型的不含惩罚参数的单层神经网络模型。该模型的主要设计思路是根据已经提出的神经网络模型思想,为目标函数的梯度设计一个制约的函数,使其值始终保持在一个范围之内,再结合一个关于时间的函数,确保其值随时间变小。同时,考虑到不等式约束对状态解进入等式约束之前的收敛方向有影响,加入一个条件函数来限制它。与已提出的神经网络模型相比,所提模型具有结构简单、无须提前进行惩罚参数的计算、对初始点的位置无特殊要求等优势。而且,对于任意初始点,理论证明了状态解的有界性、状态解能够在有限时间内收敛到等式约束内并永驻其中、状态解能够在有限时间内收敛到可行域并永驻其中以及状态解最终收敛到优化问题的最优解。在MATLAB环境下,通过数学仿真实验,状态解都能快速地收敛到一个最优解。同时,用已经提出的类似神经网络模型解决同样的优化问题时,若罚参数或初始点选择不恰当则会导致状态解不能很好地收敛。这不仅验证了所提出的理论结果的正确性,同时也说明了所提网络具有更广泛的应用范围。(本文来源于《计算机科学》期刊2019年11期）
董小霞[3]（2019）在《求解两类非光滑凸优化问题的非精确束方法》一文中研究指出对于非光滑优化问题,如极大极小问题、两阶段随机规划问题等,这些问题很难计算精确的一阶信息(函数值和次梯度),以致于基于精确数据的非光滑优化方法计算速度较慢,甚至不能求解.因此,如何建立可行且高效的非光滑优化方法求解这些问题,成为国内外优化学者研究的热点课题.本文针对上述困难,提出了求解两类非光滑凸优化问题的非精确束方法.首先,针对一类凸集约束非光滑优化问题,提出了基于按需精度近似一阶信息的邻近投影束方法.该近似一阶信息的获取依赖于两个额外的参数,分别是下降目标和误差界.根据这两个参数的不同选取,其包括精确、部分非精确、非精确、渐进精确和部分渐进精确一阶信息五种类型.该方法通过引入指示函数将其转化为等价的非光滑无约束凸优化问题,每次迭代交替求解两个基于近似一阶信息的子问题,分别是邻近子问题和投影子问题,其中,邻近子问题是对目标函数的多面体模型保持不变、指示函数进行线性化;投影子问题是对多面体模型进行线性化、指示函数保持不变.求解邻近子问题是为了产生目标函数的一个近似线型化模型;求解投影子问题是为了得到试探点.最后,建立了该算法在近似一阶信息不同类型下的全局收敛性.其次,针对一类特殊结构的无约束凸优化问题,其目标函数是两个非光滑凸函数的和,提出了基于按需精度近似一阶信息的交替线性化束方法.该近似一阶信息同样包含上述五类近似一阶信息.该方法每次迭代交替求解两个基于近似一阶信息的子问题.每一个子问题分别对其中一个函数进行线性化,另一个函数保持不变.最后,建立了该算法在近似一阶信息不同类型下的全局收敛性.最后,对本学位论文提出的非精确束方法进行初步的数值实验,针对各类近似一阶信息,测试来源于电信设计和货运车辆路径领域的二阶段随机规划问题,并且与现有的方法进行比较,本文所提出的非精确束方法在数值效果上更有优势.(本文来源于《广西大学》期刊2019-06-01）
喻昕,伍灵贞,汪炎林[4]（2019）在《一种解决非光滑伪凸优化问题的新型神经网络》一文中研究指出针对带有不等式约束条件的非光滑伪凸优化问题,提出了一种基于微分包含理论的新型递归神经网络模型,根据目标函数与约束条件设计出随着状态向量变化而变化的罚函数,使得神经网络的状态向量始终朝着可行域方向运动,确保神经网络状态向量可在有限时间内进入可行域,最终收敛到原始优化问题的最优解。最后,用两个仿真实验用来验证神经网络的有效性与准确性。与现有神经网络相比,它是一种新型的神经网络模型,模型结构简单,无需计算精确的罚因子,最重要的是无需可行域有界。(本文来源于《计算机工程与应用》期刊2019年12期）
苗晴[5]（2018）在《最优化信号处理中若干非光滑、非凸与非线性问题的研究》一文中研究指出在当今信息时代,有效的信号分析与处理方法在信号处理、通信和计算机等领域的核心理论与技术中十分重要。最优化是研究决策问题最优选择特性的一门学科,它构造寻找最优解的计算方法并研究它们的理论性质和计算表现。稀疏性和优化理论的研究在当前研究领域中是重要的组成部分,在信号处理中有着广泛的应用。本文结合信号处理中的稀疏优化、聚类与分类、SigmaDelta调制器的最优设计等若干问题,同时结合非光滑、非凸与非线性优化理论与方法展开研究,具体工作概括为如下方面:1.针对稀疏性问题中的非光滑优化模型,具体对目标函数为l1范数形式、同时含有不等式约束条件为变上限的l∞范数形式的优化问题进行研究。首先求解一个线性规划问题来确定不等式约束上限的取值范围,然后转化原问题形式并进行理论分析,经数学证明得出原问题的l1范数目标函数值与l∞范数不等式约束上限值之间的分段线性关系,并通过对多组信号进行计算机数值实验,验证了结果的有效性。2.针对信号处理中非光滑优化的聚类问题,提出叁种基于字典学习的l2范数、l1范数和l∞范数非光滑的聚类优化算法,通过求解一个优化问题将每个特征分配给一个簇,再求解另一不同的优化问题重新计算代表簇的向量,算法不断迭代直至收敛,为聚类优化的研究提供了新的思路。此外,基于类内距离与类间距离的非凸优化分类问题,在不满足特征值方程的情况下寻找全局最优线性投射超平面向量,本文将类内距离与类间距离的加权和作为目标,同时将决策向量的l2范数的平方作为二次等式约束条件。对于该问题,研究并证明了该问题的目标函数数值的全局最小值等于目标函数的Hessian矩阵的最小奇异值,同时也证明了该非凸问题的全局最优解是在目标函数的Hessian矩阵与这个奇异值乘单位阵之差的零空间中,给出了全局最优解的解析形式,计算机计算结果说明了本方法的有效性。3.在非线性约束优化的相关理论上,提出了以lp(p>1)罚函数作为效益函数的序列二次规划方法的相关推论和严格证明。研究结果表明,若用原问题对应的二次规划子问题的解为搜索方向,那么lP罚函数沿该搜索方向的方向导数满足某不等式条件;进一步,当罚参数满足一定的取值时,该搜索方向是lp罚函数在原问题处的下降方向,并给出了相应的算法,同时数值实验验证了该方法的有效性,为非线性约束优化方法的研究提供了新的思路。在非线性约束优化的应用方面,提出了一种基于绝对稳定性判据多比特内插型Sigma Delta调制器(SDM)的优化设计。首先基于最小化中平量化器的最大输出输入比值和绝对稳定性判据,选取了均匀类型的中平量化器,并从数学上证明了该量化器是最优的;其次为了获得具有良好噪声整形特性的环路滤波器以达到高信噪比,设计了多比特内插型SDM的环路滤波器设计上,说明了滤波器的设计准则和约束条件。环路滤波器在严格稳定或边缘稳定条件下,以最小化噪声传递函数在信号带内的频率响应的能量为目标,同时以绝对稳定判据、信号带内的噪声传递函数频率响应和信号带外滤波器的频率响应的幅值等作为约束,把它转化为一个非线性约束优化问题,同时它也是一个非凸的优化问题,最后用遗传算法求得该问题的近似全局最优解,实现了更宽的稳定性裕度和更高的信噪比,具有一定的理论价值和实际应用意义。综上所述,本文基于信号处理中的若干问题同时结合非光滑、非凸与非线性的最优化理论展开研究,融合了信息科学与数理科学等交叉性研究且有一定的创新。本文的研究内容具体且明确,对发现理论规律和特性并解决某些实际应用问题有一定的意义。(本文来源于《广东工业大学》期刊2018-12-01）
欧小梅[6]（2018）在《求解非光滑凸优化问题的两种双稳定束方法》一文中研究指出非光滑优化是最优化理论与方法的重要分支,也是国内外众多学者追踪研究的一个热点领域,其广泛应用于数据挖掘、神经网络学习、机器学习、图像恢复、工程学等实际领域.一直以来,国内外学者致力于设计快速而高效的优化算法用于求解非光滑优化.在求解非光滑优化的众多方法中,束方法既是主流方法也是国际上研究的热点之一,其主要特点是:每次迭代时储存之前迭代所产生的一组(束)迭代点的信息,然后通过利用前面所存储的迭代点的信息来产生新的迭代点.束方法发展至今有了较为丰硕的理论研究成果,因此,将束方法的相关理论与方法进行研究推广,从而设计出快速而高效的优化算法去求解非光滑优化具有重要的理论意义与实际应用价值.束方法主要包括邻近束方法与水平束方法等,本学位论文结合了以上两类方法的稳定性,提出两种求解非光滑凸优化的新型双稳定束方法,旨在加快算法的收敛速度,提升理论与数值效果.首先,基于经典的双稳定束方法,引入多步加速策略,提出求解非光滑凸优化的加速双稳定束方法.该方法的主要特点有:第一,相比传统的双稳定束方法只利用一个迭代点列,加速双稳定束方法引入叁个相关的迭代点列,分别用于建立目标函数的割平面模型,产生稳定中心(算法迭代到当前所产生的“最好”的点)和控制迭代点列,每个点列各司其职.第二,算法融合了传统邻近束方法和水平束方法的稳定性,使得算法的稳定性更好,从而获得更好的数值效果.第叁,分析论证算法具有全局收敛性.此外,通过对迭代点列的参数的选取,加速双稳定束方法可回到传统的双稳定束方法.其次,提出一个带非欧氏范数的双稳定束方法.主要是基于双稳定束方法,引入邻近函数,对传统的双稳定束方法子问题进行改进.在产生新迭代点的二次规划子问题中引入邻近函数代替传统的欧氏距离,使得计算上更能充分利用可行集的几何结构.算法融合了传统邻近束方法和水平束方法的稳定性,从而具备更好的理论性质.分析论证得到,算法具备全局收敛性.此外,当邻近函数取为特殊的函数时,算法可回到原始的双稳定束方法.最后,对本学位论文提出的加速双稳定束方法进行编程做初步的数值测试,数值结果表明该算法优于传统的双稳定束方法.(本文来源于《广西大学》期刊2018-06-01）
陈昭蓉[7]（2018）在《递归神经网络解决非光滑非凸优化问题的研究》一文中研究指出最优化问题是军事科学,自然科学,工程管理等学科中普遍且大量存在的问题。随着科学技术的日益发展,许多工程的核心问题最终都归结为优化问题。传统的优化方法,如梯度下降法、牛顿法、拉格朗日乘子法等由于其计算时间很大程度上依赖问题的规模和复杂性,难以实现工程优化问题实时求解的目的。因此人工神经网络解决实时优化问题得到广泛研究。基于微分包含和改进的拉格朗日乘子法理论,本文提出了两种不同的递归神经网络模型,并最终证明了模型的有效性。所得研究成果如下:1.提出了一种增广拉格朗日神经网络解决非凸光滑问题。基于KKT条件的收敛理论以及罚函数思想,提出了一种解决带等式与不等式约束非光滑凸优化问题的拉格朗日神经网络模型,与传统的拉格朗日神经网络模型相比,本文所提的模型具有两个增广函数,使网络模型的收敛速度得到了极大的提升。最终通过仿真证明了模型的有效性。2.提出了一种无需计算罚因子的递归神经网络以解决非凸非光滑优化问题。首先,基于微分包含理论,构造了一种新的解决带等式约束和不等式约束非光滑非凸优化问题的递归神经网络模型。所提出网络模型优点有:1)与传统基于罚函数的神经网络模型不同,该模型无需计算罚因子。2)许多模型的网络模型的初始点往往只能在一个有界球体内选取,而此模型的网络初始点可以任意选取。3)目前,所提出的大部分模型仅能解决目标函数为凸的优化问题,而此模型可解决一类目标函数为非凸的优化问题。理论证明了当目标函数有下界时,神经网络的解轨迹在有限时间内收敛到可行域。同时,神经网络的每一个聚点都是优化问题的关键点。(本文来源于《广西大学》期刊2018-06-01）
喻昕,陈昭蓉[8]（2019）在《一类非光滑非凸优化问题的神经网络方法》一文中研究指出提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有下界时,神经网络的解轨迹在有限时间收敛到可行域。同时,神经网络的平衡点集与优化问题的关键点集一致,且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同,提出的模型无须计算罚因子。最后,通过仿真实验验证了所提出模型的有效性。(本文来源于《计算机应用研究》期刊2019年09期）
李启朋[9]（2018）在《非光滑凸优化问题的快速迭代收缩阈值算法研究》一文中研究指出快速迭代收缩阈值算法(FISTA)是一种求解无约束稀疏优化问题的有效算法.因其易于实现、要求储存量小以及实际计算效果好等优点,FISTA吸引了很多学者的关注.FISTA已经被推广到约束优化和非光滑优化,并且在图像处理和压缩感知等领域有广泛的应用.针对不同的问题设计高效的FISTA是近年来的研究热点之一.然而,很多优化问题的目标函数都是非凸、非光滑甚至非Lipschitz连续的.目前,求解这些问题的FISTA还很少.本文研究一类非光滑凸优化问题,其目标函数是一个光滑凸函数和一个非光滑凸函数的和.针对这类问题,分别给出了一种改进FISTA和重启FISTA.主要内容概括如下:针对一类非光滑凸优化问题,结合Beck和Teboulle给出的FISTA,提出了一种改进FISTA.该算法在第k次迭代开始时选取步长1/L_k为1/L_0,这样选取的步长可以避免该算法在迭代初期遇到较大的Lipschitz常数,从而得到较好的迭代步长.该算法是一种非单调的算法,并从理论上证明了该算法的收敛速度.将该算法应用于求解Lasso问题,从运行时间、迭代次数、相对误差等方面进行比较,数值实验结果表明该算法是有效的.针对改进FISTA是一种非单调的算法,结合Giselsson等人给出的重启技术,提出了一种求解非光滑凸优化问题的重启FISTA,并且证明了该算法的收敛速度,同时分析了该算法中的重启条件.将该算法和FISTA应用于求解Lasso问题,数值实验结果表明该算法在收敛速度上优于FISTA,同时将不同重启条件下的该算法应用于求解Lasso问题,数值实验结果表明重启条件为T2的该算法在收敛速度上优于重启条件为T1的该算法.(本文来源于《西安电子科技大学》期刊2018-04-01）
袁君萍,李德权[10]（2018）在《基于非光滑分析的凸优化问题分布式量化算法》一文中研究指出研究了量化信息通信情况下的多个体网络分布式凸优化算法。个体之间通过固定拓扑无向图交流信息,利用边laplacian矩阵,将个体的状态信息转化为个体间的边状态信息;进而对边的状态信息进行量化,而信息量化导致原成本函数产生了非光滑问题,通过构造合适的Lyapunov函数并引入了非光滑分析求其梯度,证明了在所提优化算法作用下整个网络系统的状态最终一致有界。(本文来源于《佳木斯大学学报(自然科学版)》期刊2018年01期）
非光滑非凸优化论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
优化问题的研究一直以来深受科研工作者的关注,凸优化问题作为优化问题的一个重要部分更是成为研究重点,许多应用神经网络思想提出的模型已经被应用到实际问题中。然而,在机器学习、信号处理、生物信息学等领域中涉及的优化问题往往不是凸优化问题,而是伪凸优化及非凸优化的问题,因此解决后一类问题变得刻不容缓。针对目标函数是非光滑伪凸函数、约束函数由等式和不等式函数构成的优化问题,基于罚函数以及微分包含的思想,构建了一个新型的不含惩罚参数的单层神经网络模型。该模型的主要设计思路是根据已经提出的神经网络模型思想,为目标函数的梯度设计一个制约的函数,使其值始终保持在一个范围之内,再结合一个关于时间的函数,确保其值随时间变小。同时,考虑到不等式约束对状态解进入等式约束之前的收敛方向有影响,加入一个条件函数来限制它。与已提出的神经网络模型相比,所提模型具有结构简单、无须提前进行惩罚参数的计算、对初始点的位置无特殊要求等优势。而且,对于任意初始点,理论证明了状态解的有界性、状态解能够在有限时间内收敛到等式约束内并永驻其中、状态解能够在有限时间内收敛到可行域并永驻其中以及状态解最终收敛到优化问题的最优解。在MATLAB环境下,通过数学仿真实验,状态解都能快速地收敛到一个最优解。同时,用已经提出的类似神经网络模型解决同样的优化问题时,若罚参数或初始点选择不恰当则会导致状态解不能很好地收敛。这不仅验证了所提出的理论结果的正确性,同时也说明了所提网络具有更广泛的应用范围。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
非光滑非凸优化论文参考文献
[1].喻昕,胡悦,马崇,伍灵贞,汪炎林.递归神经网络方法解决非光滑伪凸优化问题[J].计算机应用与软件.2019
[2].喻昕,马崇,胡悦,伍灵贞,汪炎林.一种新型解决非光滑伪凸优化问题的神经网络方法[J].计算机科学.2019
[3].董小霞.求解两类非光滑凸优化问题的非精确束方法[D].广西大学.2019
[4].喻昕,伍灵贞,汪炎林.一种解决非光滑伪凸优化问题的新型神经网络[J].计算机工程与应用.2019
[5].苗晴.最优化信号处理中若干非光滑、非凸与非线性问题的研究[D].广东工业大学.2018
[6].欧小梅.求解非光滑凸优化问题的两种双稳定束方法[D].广西大学.2018
[7].陈昭蓉.递归神经网络解决非光滑非凸优化问题的研究[D].广西大学.2018
[8].喻昕,陈昭蓉.一类非光滑非凸优化问题的神经网络方法[J].计算机应用研究.2019
[9].李启朋.非光滑凸优化问题的快速迭代收缩阈值算法研究[D].西安电子科技大学.2018
[10].袁君萍,李德权.基于非光滑分析的凸优化问题分布式量化算法[J].佳木斯大学学报(自然科学版).2018