二次凸规划的广义 Fenchel 定理和最优性条件

二次凸规划的广义 Fenchel 定理和最优性条件

一、二次凸规划的广义Fenchel定理与最优性条件(英文)(论文文献综述)

闫丽萍[1](2019)在《稀疏结构化LSTSVR算法的研究》文中研究指明双支持向量机(TSVM)是基于支持向量机(SVM)上提出的一种新型机器学习方法,具有良好的学习性能,目前已成为机器学习领域的研究热点。TSVM常用于解决分类和回归问题。对分类问题而言,双支持向量分类机(TSVC)目的是寻找一对非平行的分类超平面;对回归问题而言,双支持向量回归机(TSVR)旨在训练样本点的两侧产生一对非平行的回归超平面,用于分别确定回归函数的不敏感上下界函数。为了简化TSVR的计算,通过采用最小二乘损失函数替代TSVR中的不敏感损失函数的最小二乘双支持向量回归机(LSTSVR),将求解二次规划问题简化为求解线性方程组问题,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险,易导致以下不足:(1)“过学习”问题;(2)模型的解缺乏稀疏性,难以训练大规模数据。本文针对LSTSVR在训练阶段容易造成“过学习”和缺乏稀疏性做出了理论分析,并对如何解决LSTSVR的两个问题展开研究:对于问题(1),本文基于结构风险最小化原则,在LSTSVR中加入控制模型复杂度的正则项,提出了一种结构化最小二乘双支持向量回归机(S-LSTSVR)以提升模型的泛化能力;针对问题(2),首先推导S-LSTSVR的对偶模型Dual S-LSTSVR,并分析该模型的不具有稀疏性的原因;其次利用表示定理给出原始S-LSTSVR(PS-LSTSVR),进一步证明了PS-LSTSVR和Dual S-LSTSVR在回归问题中的等价性;最后基于不完全Choesky分解给出求解PS-LSTSVR的稀疏算法(SS-LSTSVR),将其推广到大规模数据的应用。本文通过人工数据上的实验分析证明S-LSTSVR模型的泛化能力;通过UCI中四个中等规模数据集的实验,验证SS-LSTSVR算法的稀疏性;进一步将SS-LSTSVR算法推广至大规模数据集上,并通过两个大规模数据集以验证SS-LSTSVR算法处理大规模数据集的能力。

王亚燚[2](2017)在《关于箱约束随机变分不等式问题的两类新模型及其求解方法》文中指出变分不等式问题作为一类具有普遍意义的均衡问题,在许多领域有着广泛的实际应用,而在解决诸如供应链、交通、库存等问题中会遇到需求、喜好、天气等不确定因素,忽视这些不确定因素将产生灾难性的后果,这导致近年来对箱约束随机变分不等式问题(SVI(l,u,F))的研究成为热点问题,促使其无论在理论方面或者求解算法方面均取得丰硕成果.本文在前人研究基础上,主要针对求解SVI(l. u, F)的两种方法进行相关研究,研究结果如下:首先,受Sun和Womersley所提出连续可微的价值函数的启发,构造出求解SVI(l,u,F)的期望值(Expected Value,简记为EV)模型,进一步,在一定条件下,说明该EV问题水平集有界.由于EV问题目标函数中含有不易计算的数学期望,继而利用基于蒙特卡罗方法的样本均值近似方法给出此模型的近似问题,并且研究该模型近似问题全局最优解序列以及稳定点序列的收敛性结果.其次,当随机变量波动较大时,即使SVI(l,u,F)有解,应用EV方法求得的解与实际解会有较大偏差.为此,本文利用极小化最大残差的方法构造出与箱约束随机线性变分不等式(SLVI(l,u,F))等价的鲁棒优化问题,由于该优化问题中含有最大函数与最小函数,使得优化问题不易求解,从而本文给定几种不确定因素集合,将其转化为易处理的鲁棒优化再定式.值得注意的是,该转化方式同样适用于求非单调SLVI(l,u,F)的鲁棒解.

夏书银[3](2015)在《基于分类噪声检测的支持向量机算法研究》文中研究说明支持向量机(Support Vector Machine,SVM)是基于统计学习理论的一种优秀的机器学习方法。它在最基本的线性可分问题中,采用与结构风险最小化理论一致的间隔最大化原理产生原始凸规划问题模型,使得基本问题模型具有良好的泛化能力。并且由于模型是凸规划模型,所以能够获得全局最优解。在获得这些良好特性的基础上,通过引入惩罚系数和惩罚因子来获得线性不可分问题的问题模型。并通过进一步使用核函数理论来解决非线性问题,从而避免了维数灾难。由于其优异的性能,已经广泛应用于模式分类,密度估计和函数逼近等领域,成为机器学习中的研究热点。本文围绕支持向量机在分类问题中的训练过程和过学习现象,瞄准高维数据中的相对密度计算及与支持向量机的结合为关键问题,以提高支持向量机的训练速度为主要目的,其具体的研究成果主要包括以下几个内容:①通过分析分类问题中噪声数据的特点,引入分类噪声的概念,提出了相对密度模型对其进行检测。分类问题中的噪声数据会明显减弱决策曲线的平滑度,降低决策函数的泛化能力,从而引起过拟合,因而挖掘这些噪声数据具有重要意义。本文针对现有算法无法有效检测分类问题中的噪声数据的问题,基于噪声数据在同类样本集合中的样本密度要小于在异类样本集合中的样本密度,引入了分类噪声的概念,进一步提出了相对密度模型来对分类噪声进行快速有效地检测。仿真实验表明相对密度模型能够很好的识别分类噪声。②通过排除分类噪声将不可分问题转化为可分问题,简化了支持向量机模型和训练过程,并结合序列最小优化(Sequential Minimal Optimization,SMO)算法,提出了基于分类噪声检测的序列最小优化算法(Classification Noises Detection based Sequential Minimal Optimization,CNSMO)。针对现有的支持向量机在训练过程中依赖交叉验证会大幅增加训练时间的问题,CNSMO算法通过排除分类噪声后平滑了决策函数,避免了分类噪声产生的过学习现象,因此在训练过程中不需要使用交叉验证也能够获得良好的预测精度。同时,由于排除分类噪声将不可分问题转化为可分问题,不需要对惩罚系数进行寻优,简化了拉格朗日参数迭代模型。仿真结果表明改进算法能够在不牺牲算法预测精度的前提下,大幅缩短了支持向量机的训练时间,算法具有良好的稳定性。③通过计算到某些固定参考点的度量来衡量不同样本之间的位置差异,以避免直接计算样本之间的欧式距离,提出了基于位置差异的近邻搜索算法(Location Difference based Algorithm,LDBA)。针对在相对密度计算中使用的现有近邻算法在高维数据集中性能下降的问题,LDBA算法使用参考点与样本所构成的角度和距离来度量不同样本点之间的位置差异,避免对样本之间的欧式距离直接进行计算,因此具有较低的算法时间复杂度。另外,LDBA算法不依赖索引树结构,因此在高维数据集中仍然能够保持良好的算法效率。仿真结果表明LDBA算法具有和基本算法接近的预测精度,但比同类算法在高维数据集中表现出了更好的算法效率。④通过将LDBA算法结合到CNSMO算法中,提出了基于位置差异和分类噪声的最小序列化支持向量机算法(Location Difference and Classification Noise based Sequential Minimal Optimization,LD-CNSMO)。针对CNSMO算法在高维数据集中性能下降的问题,将LDBA算法结合到相对密度的计算过程中以检测和消除分类噪声,提出了LD-CNSMO算法。由于LDBA算法不依赖树索引结构,因此LD-CNSMO算法能够在高维数据集中保持良好的算法效率。仿真结果表明LDCNSMO算法在高维数据集中能够获得比CNSMO和其他算法更好的算法效率。本论文引入分类噪声后,通过使用基于LDBA的相对密度模型进行检测和排除分类噪声,并结合到SMO支持向量机中,避免了在支持向量机训练过程中使用交叉验证。在不影响算法泛化能力的情况下,大幅度提高了算法在低维和高维数据集中的训练效率,并增强了算法稳定性,有效地提高了支持向量机的算法性能。

吴广熙[4](2014)在《几类神经优化问题的研究》文中研究表明众所周知,最优化问题在许多领域中占有举足轻重的地位,很多决策问题都可以转化为相应的最优化问题。继传统的优化方法暴露出越来越多的缺点之后,人们开始寻求新方法、新途径来更加高效地求解最优化问题。由于神经网络具有大规模并行处理及快速收敛的特性,因此用其求解优化问题受到了越来越多学者的青睐。同时,有关神经动力学优化的研究更是方兴未艾,各种重要的研究成果不断涌现。基于神经动力学优化与非光滑分析等理论,本文将重点研究两类凸优化问题。首先研究了带有等式与不等式约束的非光滑凸优化问题。基于Tikhonov正则化方法,构造单层神经网络来求解这类非光滑优化问题,并利用Lyapunov稳定性定理证明神经网络的稳定性和渐近稳定性。与目前已知的求解该类优化问题的神经网络相比,我们构造的神经网络具有结构简洁、不依赖惩罚参数等优点。特别地,神经网络的稳定性证明取消了可行域有界性或目标函数强制性的要求。其次研究了带不等式约束的二次凸规划问题。基于Karush-Kuhn-Tuker条件,构造梯度型神经网络,并证明神经网络的平衡点即为二次规划问题的最优解。最后利用LaSalle不变集原理和ojasiewicz不等式证明所构造的神经网络的渐近稳定性。该神经网络的稳定性不依赖于其他附加条件,因此具有更广阔的应用前景。

何金花[5](2012)在《两线性流形之间距离的算法研究》文中研究表明本文定义了两线性流形之间的距离,并设计了求解算法.在绪论部分,我们介绍了流形的历史背景和流形距离的发展及其应用.第一章给出了两线性流形之间距离与公垂线性流形的定义,基于线性流形的平行性与正交性,分别给出了求两个不相交的线性流形之间距离与公垂线性流形的两个算法.通过数值实验,说明该算法的可行性.第二章将求解两线性流形之间距离的问题转化为凸二次规划问题,结合全局最优性条件,给出了求解两线性流形之间距离的算法.通过实例,说明了该算法的可行性.第三章对全文的工作进行了总结,并提出进一步研究的问题.

赵四能[6](2011)在《偏微分方程在遥感图像去噪与分类的应用研究》文中指出在过去的二十年中,基于偏微分方程(Partial Differential Equation, PDE)的图像处理方法是图像处理领域所取得的最为重要的成果之一。应用这种方法于遥感图像处理领域可以解决该领域一些长期存在的难点问题。本文主要进行基于PDE方法的遥感图像去噪与分类方面的研究。本文对小波变化和一些经典的基于偏微分方程的图像处理方法的相关理论进行了介绍,对偏微分方程和小波变换之间的关系进行分析研究,最终提出了本文的改进方法,并通过实验对它们在遥感(声纳)图像去噪中的应用进行了详细的实验分析研究,包括Perona和Malik提出基本的P-M各项异性扩散模型、TV复原模型、方向扩散模型等,以及本文改进的算法,并给出了相应的去噪指标曲线图。遥感图像分类是遥感领域研究的重要内容,如何有效进行遥感图像的计算机自动分类识别并满足一定的精度等要求,一直以来都是一个热点问题和重要难题。传统遥感图像分类方法一般分为非监督分类和监督分类,它们之间各有优点和缺点。前者通过自动聚类过程,人工参与少;后者有更多的人工参与,同时需要一个学习和训练的过程,并对该研究区域有一些相关的先验信息。当然没有哪一种分类方法得出的分类结果是最优的,要想达到很好的分类效果和更适合某些地方地物的分类,需要找到相应分类器的最佳组合模式。本文在理论研究的基础上,推广PDE中的方向扩散方法在遥感图像分类中的应用,给出了相应的模型和改进方法,同时采用了基于KICA的遥感图像预处理再分类方法进行了高分辨率遥感影像分类的研究,在一定程度上提高了TM影像和高分辨率遥感图像分类精度。本文运用基于偏微分方程的图像处理方法来解决分类中长期存在的一些难点问题将是一个有益的尝试。论文的主要贡献及创新点包括以下几个方面:(1)分析了小波收缩去噪与非线性扩散去噪之间的关系(2)提出了基于提升小波变化的方向扩散实现侧扫声纳图像去噪的方法,实验结果证明该方法能有效去除声纳的噪声并保护边缘的能力。(3)提出基于KICA的方向扩散实现遥感图像SVM分类模型以及ISODATA全自动分类方法,进一步对KICA的高分辨率遥感图像分类进行了深入研究,并对比了其他分类方法,给出了相应的分类精度等指标。(4)通过对梯度阈值和时间步长的调整并进行ISODATA分类,采用该实验方法给出了方向扩散中梯度阈值、时间步长与非监督分类精度之间的关系,这也是为进一步研究梯度阈值、时间步长和扩散的关系提供一条新的思路。最后给出分类精度的大小与方向扩散中梯度阈值、时间步长的关系图。(5)同时提出了改进停止函数的方向扩散方法实现航空影像图像ISODATA分类。本论文把PDE方法的理论应用到遥感图像领域,对去噪部分结合了小波变换方法进行了深入研究,所提出的算法及其在遥感图像分类中的模型具有一定的创新性,特别是对于PDE在遥感图像分类中的更进一步应用研究,具有一定的参考价值和实际意义。

陈彬[7](2010)在《垃圾邮件的特征选择及检测方法研究》文中研究表明伴随着互联网的快速发展,目前中国网民数量已达3.38亿,居世界首位。与此同时,日益泛滥的垃圾邮件问题也引起了人们的普遍关注,因为它不仅给人们的工作和生活带来了很大的困扰,也给社会经济带来了巨大的损失。针对垃圾邮件的各种检测与过滤方法应运而生并且得到迅速的发展。然而,越来越常用的、不断更新的垃圾邮件伪装以及攻击手段却正严重影响着这些这类检测方法的有效性和实用性。垃圾邮件经常借助一些替换、插入、编码等手段,在不影响阅读人对信息的理解的同时隐藏自身的垃圾特性,干扰过滤器对其特征的挖掘与提取,从而达到规避过滤器检测的目的,致使一些被认为行之有效的检测方法在实际应用中准确度不高。同时,垃圾邮件属于动态变化的流信息,而现在大多数针对该类信息的特征提取和检测分类方法,都将其视为一般的文本分类,无法体现基于时间流的数据特征随时间变化而发生动态变化的特点。此外,垃圾邮件的检测,是一种大规模的实时数据处理,部分基于机器学习的检测方法由于在模型更新和快速检测上存在性能上的瓶颈,无法很好地投入到实际应用中。总之,不断发展的垃圾邮件形式和检测技术现状都表明,垃圾信息泛滥问题的解决,必须综合运用多种检测技术并加以完善和创新,充分挖掘网络垃圾信息所具备的有效特征,与时俱进。同时还需要做到检测准确率与检测效率的相平衡,使其符合大规模实际应用的要求。基于上述事实,本文系统地分析了垃圾邮件的背景、现状以及研究网络垃圾信息检测技术的现实意义,通过跟踪国内外的网络垃圾信息的先进检测技术,较全面地归纳出现有的网络垃圾信息检测技术的发展现状,比较分析了各种技术的优点以及不足,提出了亟待解决的问题。在已有技术成果的基础上,本文从理论和应用两个层面,对垃圾邮件检测的关键技术进行深入的研究和创新,主要完成了以下几项工作:(1)针对垃圾邮件伪装技术,通过对大规模真实邮件数据的统计和分析,归纳出垃圾邮件报文格式中隐藏的独特行为特征,提出新颖的电子邮件头增强的特征选择方法。在此基础上,将邮件头包含的行为特征和内容特征相结合,并以指纹向量的形式来表示。实验表明,该特征表示方法应用在贝叶斯过滤器中能有效加强过滤器在应对垃圾邮件变种的时的识别能力,提高检测准确率,并且计算简单,适用于大规模应用。(2)提出了将垃圾邮件信息视为动态的数据流进行处理,综合考虑邮件特征的生命周期和使用频率,设计了一种较新颖的使用统计时序的垃圾邮件过滤特征选择方法,在有效减低特征冗余的同时也较好地反映了垃圾邮件特征随时序变化而产生的动态变化;同时提出了一种基于时序预测模型的过滤器阈值动态调优方法,使其与垃圾邮件数量规模保持关联性,能够自适应不同时间段的垃圾邮件强度。基于时序的垃圾邮件特征选择有利于提高垃圾邮件过滤器对最新内容形式的垃圾邮件的识别能力,降低特征存储空间,提高检测速度。(3)针对属性相互独立的限制性假设与垃圾邮件的特征不匹配的事实,引入均-1依赖估计(Aggregating One-dependence Estimators,AODE)来对这一特征属性独立的假设进行弱化,通过垃圾邮件特有的结构化特征,构建新的贝叶斯特征属性网,提出了一种结构化的SAODE(Structural-AODE)算法,并通过基于类条件分布的特征选择优化方法以及基于最大最小熵的主动学习策略,保证了算法的计算时间开销和准确度。实验结果表明该方法能进一步提高贝叶斯方法在垃圾邮件检测上的精度和计算效率。(4)针对当前支持向量机(Support Vector Machine,SVM)方法在垃圾邮件检测应用中面临的算法复杂性和系统开销占用过大两个关键问题,提出了基于序列最小最优化(Sequential Minimal Optimization, SMO)的在线式SVM增量学习方法改进,同时设计了一种基于风险检测的监督训练模型,使分类器自身参数能够自适应调整,并且根据代价规则实现了代价敏感的SVM检测过滤学习机制。这些综合改进方法,使得SVM在保持其分类精确度的同时,提高了其在大规模垃圾邮件检测实际应用中的效率。上述工作所提出的方法在TREC2007、SEWM2008和CEAS2008等标准垃圾邮件数据集上进行了有效验证,并实际参与国内外垃圾邮件过滤测评,与目前的主流垃圾邮件过滤器进行了比较。实验和测评结果表明,本文提出的各种方法的改进和创新,能较有效地解决目前垃圾邮件检测所遇到的信息伪装和实际应用的效率问题。

张楠[8](2009)在《应用对偶理论求解二次规划问题的一种方法》文中研究表明本文主要讨论了对偶理论在二次规划问题求解中的应用,并给出了二次规划问题完全解的形式.全文共分六章.第一章是引言,主要介绍了对偶理论的研究背景及本文的主要研究工作.第二章是预备知识,首先回顾了标准对偶理论的相关概念,之后给出了标准对偶变换的思想方法.第三章研究的是将标准对偶变换的方法应用到一类凸约束二次规划的求解中.由于对于非凸函数,不能应用凸函数的性质对其进行求解,因此我们应用标准对偶理论对其进行求解,由此给出了这类凸约束规划的完整的求解方法.第四章是针对第三章中讨论的方法进行应用举例,通过具体事例说明标准对偶变换方法的应用.第五章我们对问题进行了延伸,利用对偶变换的理论讨论了一般形式下的二次规划问题的求解问题.第六章是本文的展望,希望能找到更好的方法,能跟简单的解决二次规划问题.

吴青[9](2009)在《基于优化理论的支持向量机学习算法研究》文中认为支持向量机是借助优化方法解决机器学习问题的新工具.近年来,支持向量机越来越受到人们的广泛关注,在其理论研究和算法实现方面都取得了重大进展,成为机器学习领域的前沿热点课题.支持向量机将机器学习问题转化为优化问题,并应用优化理论构造算法.优化理论是支持向量机的重要理论基础之一,本文主要从优化理论和方法的角度对支持向量机进行研究.主要内容如下:1.对最小二乘支持向量机进行研究.提出一类训练最小二乘支持向量机的条件预优共轭梯度法.当训练样本的个数较大时,最小二乘支持向量机需要求解高阶线性方程组,利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组,大大提高了最小二乘支持向量机的训练速度.2.对光滑支持向量机进行研究.无约束支持向量机模型是非光滑不可微的,许多优化算法无法直接用来求解该模型.采用CHKS函数作为光滑函数,提出了光滑的CHKS支持向量机模型,并用Newton-Armijo算法来训练该模型.该算法通过批处理训练来提高训练速度,节省存储空间,可以有效求解高维、大规模的分类问题.3.基于优化理论中的KKT互补条件,分别建立了支持向量分类机和支持向量回归机的无约束不可微优化模型,并给出了有效的光滑化近似解法.建立了支持向量分类机的无约束不可微优化模型,给出了求解支持向量分类机的调节熵函数法.该方法不需要参数取值很大就可以逼近问题的最优解,避免了一般熵函数法为了逼近精确解,参数取得过大而导致数值的溢出现象;调节熵函数法同样可以用来训练无约束不可微的支持向量回归机,提出了求解支持向量回归机的调节熵函数法,有效避免了数值的溢出现象.这两个算法分别为求解支持向量分类机和支持向量回归机提供了新的思路.4.对模糊支持向量机进行研究.针对支持向量分类机对训练样本中的噪声和孤立点特别敏感的问题,提出了一类基于边界向量提取的模糊支持向量机方法.选择可能成为支持向量的边界向量作为新样本,减少了参与训练的样本数目,提高了训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,减弱了噪声点的影响,增强了支持向量对支持向量机分类的作用;为了克服最小二乘支持向量机对于孤立点过分敏感的问题,将模糊隶属度概念引入最小二乘支持向量机中,提出了基于支持向量域描述的模糊最小二乘支持向量回归机.新的隶属度的定义减弱了噪声点的影响.把所要求解的约束凸二次优化问题转化为正定线性方程组,并采用快速Cholesky分解的方法求解该方程组.在不牺牲训练速度的前提下,比支持向量机和最小二乘支持向量机具有更高的预测精度.5.对半监督支持向量机进行研究.为了改进?TSVM的分类性能,引进了一个光滑分段函数,给出了光滑分段半监督支持向量机模型.光滑分段函数的逼近性能优于高斯近似函数.根据光滑分段半监督支持向量机的非凸特性,首次采用保证收敛的线性粒子群算法来训练半监督支持向量机,光滑分段半监督支持向量机在分类性能上优于?TSVM.

刘杨[10](2008)在《基于RS理论和SVM的网络信息过滤技术的研究》文中研究说明随着互联网的飞速发展,人们获取了丰富的信息。然而,各种不良信息也随之泛滥,特别是反动、色情、暴力等有害信息极大地危害着社会的稳定和人们的身心健康,网络“垃圾”已经侵入了我们的生活。如何过滤掉与自己需求无关的信息,如何快速、准确的获得所需信息并免受非法信息的侵扰,已经成为当前互联网发展研究的热点。本文提出了一种新的将RS理论和二叉树多分类SVM算法相结合的网络信息过滤思想,通过改进的启发式相对属性约简和值约简,消除冗余属性和值,对变换后的数据表,采用一种带松弛因子的统计粗糙集算法生成决策规则,使挖掘出的规则更简洁,具有更高的可靠性,可以有效地避免生成规则的偶然性,从而降低误分类率。然后通过二叉树多分类SVM算法来训练SVM,将多分类转化为二值分类,算法采用先聚类再分类的思想,计算测试样本与子类中心的最大相似度和子类间的分离度,以构造决策结点的最优分类超平面。对于C类分类只需C ?1个决策函数,从而可节省训练时间。实验表明:RS理论和二叉树多分类SVM相结合的算法,可以降低训练模型的复杂度,从而在一定程度上减少了模型的过拟合现象,并提高了SVM的推广能力和训练速度,取得了较好的过滤效果。本文实现了一个位于邮件客户端,能对已有邮件进行学习,自动对新到邮件进行分类过滤的智能邮件过滤系统。该系统是基于POP3协议和SMTP协议,介于用户的邮件服务器和邮件接收软件之间的一个过滤层。系统中邮件的过滤分成两级实现:第一级是在邮件取下后,首先根据邮件信头内容进行过滤,进行邮件分解、内容分析、特征提取,并形成特征向量形式。第二级过滤的主体部分是基于二叉树SVM的多分类过滤器,核函数选用径向基函数。最后用大量电子邮件进行测试,计算邮件过滤评估函数,并与Naive Bayes方法、KNN算法、Boosting Trees算法几种过滤方法相比较。实验结果表明,该系统具有实时监控、自动更新邮件过滤模块的能力,使邮件过滤更高效、更准确。在电子邮件过滤中,由于垃圾邮件中含有的URL地址是通过授权获得的,因此,本文采用了基于URL地址进行垃圾邮件过滤的方法,通过捕获垃圾邮件中所含有的URL信息,这种方法对过滤含有URL的垃圾邮件相当快速、有效,是其它过滤方法难以做到的。

二、二次凸规划的广义Fenchel定理与最优性条件(英文)(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、二次凸规划的广义Fenchel定理与最优性条件(英文)(论文提纲范文)

(1)稀疏结构化LSTSVR算法的研究(论文提纲范文)

摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 研究现状
    1.3 本文的主要研究内容
        1.3.1 本文的主要工作
        1.3.2 本文的内容安排
第二章 SVM基础理论及相关知识
    2.1 统计学习理论
        2.1.1 期望风险
        2.1.2 经验风险最小化
        2.1.3 一致性原则与VC维理论
        2.1.4 结构风险最小化原则
    2.2 支持向量机
        2.2.1 间隔与支持向量
        2.2.2 对偶问题
        2.2.3 核函数
        2.2.4 软间隔与正则化
        2.2.5 支持向量回归机
    2.3 本章小结
第三章 结构化最小二乘双支持向量回归机
    3.1 LSTSVR的基本思想
    3.2 S-LSTSVR
    3.3 PS-LSTSVR
    3.4 本章小结
第四章 稀疏结构化最小二乘双支持向量回归机
    4.1 稀疏S-LSTSVR算法
        4.1.1 核矩阵的低秩近似——不完全Choesky分解方法
        4.1.2 低秩近似核矩阵K的特征向量计算
        4.1.3 稀疏S-LSTSVR算法(SS-LSTSVR)
    4.2 数值实验结果
        4.2.1 人工数据实验
        4.2.2 中等规模数据集
        4.2.3 大规模数据集
    4.3 本章小结
第五章 结束语
    5.1 研究结论
    5.2 研究展望与不足
参考文献
致谢
作者简介

(2)关于箱约束随机变分不等式问题的两类新模型及其求解方法(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 箱约束变分不等式问题的研究背景与发展现状
    1.2 箱约束随机变分不等式问题的研究背景与发展现状
    1.3 本文的主要内容
2 箱约束随机变分不等式问题的期望值模型及其求解方法
    2.1 引言
    2.2 预备知识
    2.3 水平集的有界性
    2.4 样本均值近似问题的收敛性分析
    2.5 小结
3 箱约束随机线性变分不等式问题的鲁棒解
    3.1 引言
    3.2 单调SLVI(l,u,F)易处理的鲁棒再定式
    3.3 非单调SLVI(l,u,F)易处理的鲁棒再定式
    3.4 小结
4 结论与展望
    4.1 结论
    4.2 进一步的工作方向
致谢
参考文献
攻读学位期间发表的学术论文及参加科研情况

(3)基于分类噪声检测的支持向量机算法研究(论文提纲范文)

中文摘要
Abstract
主要符号对照表
1 绪论
    1.1 研究背景
    1.2 支持向量机的研究现状
        1.2.1 支持向量机的算法研究
        1.2.2 支持向量机的应用研究
    1.3 论文的研究意义和主要内容
        1.3.1 论文的研究意义
        1.3.2 论文的主要研究内容
        1.3.3 拟解决的关键问题
    1.4 本文的结构安排
2 支持向量机理论基础
    2.1 统计学习理论
        2.1.1 经验风险最小化准则
        2.1.2 学习过程的一致性
        2.1.3 VC维与推广能力的界
        2.1.4 结构风险最小化原则
    2.2 最优化理论
    2.3 支持向量机
        2.3.1 最优分类超平面
        2.3.2 线性支持向量机
        2.3.3 核函数和非线性支持向量机
        2.3.4 变形支持向量机
    2.4 序列最小优化算法
    2.5 本章小结
3 基于分类噪声检测的低维支持向量机
    3.1 研究背景与问题分析
    3.2 分类噪声
    3.3 使用相对密度检测分类噪声
        3.3.1 相对密度的定义
        3.3.2 相对密度的有效性
    3.4 基基于分类噪声检测的序列最小优化算法
        3.4.1 C-支持向量机
        3.4.2 基于分类噪声检测的序列最小优化模型
        3.4.3 算法效率分析
    3.5 仿真实验分析
    3.6 本章小结
4 基于位置差异的高维相对密度算法
    4.1 基于位置差异的近邻搜索算法
        4.1.1 位置差异因子
        4.1.2 算法设计
        4.1.3 参数 ε 的设置
    4.2 仿真实验分析
        4.2.1 LDBA算法有效性分析
        4.2.2 LDBA算法效率分析
    4.3 基于位置差异的高维相对密度算法
        4.3.1 算法设计和复杂度分析
        4.3.2 仿真实验分析
    4.4 本章小结
5 基于位置差异和分类噪声检测的支持向量机
    5.1 基于位置差异和分类噪声检测的支持向量机
        5.1.1 算法设计
        5.1.2 算法效率分析
    5.2 仿真实验分析
    5.3 本章小结
6 总结和展望
    6.1 取得的成果和创新点
    6.2 未来的工作展望
致谢
参考文献
附录
    A. 作者在攻读学位期间以第一作者发表的相关论文目录:
    B. 作者在攻读学位期间参加的相关科研项目:

(4)几类神经优化问题的研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 凸优化的课题背景
    1.2 国内外研究现状及分析
        1.2.1 非光滑凸优化问题的研究现状
        1.2.2 二次规划问题的研究现状
    1.3 预备知识
        1.3.1 凸分析的基本定义
        1.3.2 凸优化的重要定理
    1.4 本文的主要研究内容
第2章 基于 Tikhonov 正则化的非光滑优化问题研究
    2.1 主要研究内容
    2.2 神经网络模型的建立
    2.3 神经网络的收敛性分析
    2.4 数值模拟
    2.5 本章小结
第3章 基于梯度型神经网络的二次规划问题研究
    3.1 主要研究内容
    3.2 神经网络模型的建立
    3.3 神经网络的稳定性分析
    3.4 数值算例
    3.5 本章小结
结论
参考文献
致谢

(5)两线性流形之间距离的算法研究(论文提纲范文)

中文摘要
Abstract
中文文摘
目录
约定与记号
绪论
第1章 两线性流形之间的距离与公垂流形的刻画与算法
    1.1 引言
    1.2 结论与算法
第2章 基于二次规划的求解两线性流形间距离的方法
    2.1 引言
    2.2 两线性流形间距离的二次规划模型
    2.3 算法与算例
第3章 结论
参考文献
攻读学位期间承担的科研任务与主要成果
致谢
个人简历

(6)偏微分方程在遥感图像去噪与分类的应用研究(论文提纲范文)

致谢
摘要
Abstract
目录
图索引
表索引
1 绪论
    1.1 遥感图像分类和去噪的研究现状和意义
        1.1.1 研究背景和意义
        1.1.2 遥感图像分类算法概述和研究现状
        1.1.3 声纳图像去噪的研究现状
    1.2 基于偏微分方程的图像处理技术和应用
    1.3 章节安排
2 基于小波变换的偏微分方程方法研究
    2.1 小波变换的定义及性质
        2.1.1 小波变换的定义及性质
        2.1.2 常用小波函数
        2.1.3 多分辨率分析
        2.1.4 Mallat算法
        2.1.5 提升小波
    2.2 小波收缩去噪与非线性扩散去噪之间的关系
        2.2.1 Haar二维小波收缩去噪分析
        2.2.2 Haar二维小波收缩与非线性扩散之间的关系
    2.3 小结
3 基于提升小波变化的方向扩散实现侧扫声纳图像去噪研究
    3.1 声纳图像噪声概述
    3.2 图像去噪模型和方法
        3.2.1 图像的噪声模型
        3.2.2 几种常见的去噪方法
        3.2.3 小波图像去噪
    3.3 P-M方程、方向扩散方程与自蛇模型
        3.3.1 P-M方程
        3.3.2 基于AOS格式的各向异性扩散
        3.3.3 方向扩散方程
        3.3.4 矢量图像的方向扩散方程
        3.3.5 自蛇模型
    3.4 TV复原去噪模型
        3.4.1 TV复原模型
        3.4.2 改进的TV复原模型
    3.5 一种基于提升小波的方向扩改进算法
    3.6 图像去噪质量评价标准
        3.6.1 实验:基于提升小波的方向扩散算法实现侧扫声纳图像去噪实验
        3.6.2 结论
    3.7 小结
4 基于独立分量分析的方向扩散实现遥感图像分类研究
    4.1 独立分量分析在遥感图像分类中的应用
        4.1.1 独立成分分析方法概述
        4.1.2 核独立成分分析方法
    4.2 遥感图像分类的传统经典算法
        4.2.1 遥感图像分类的传统经典算法
        4.2.2 非监督分类
        4.2.3 监督分类
        4.2.4 监督分类和非监督分类的比较
        4.2.5 本文分类模型流程图(本章所指的方向扩散均为矢量图像的方向扩散)
    4.3 分类精度评价
        4.3.1 误差来源
        4.3.2 分类精度评价指标
        4.3.3 分类后处理问题
    4.4 基于KICA的方向扩散方法实现遥感TM图像SVM分类研究
        4.4.1 分类精度结果分析
        4.4.2 结论
    4.5 基于KICA的方向扩散方法实现航空遥感影像分类研究
        4.5.1 分类精度结果分析
        4.5.2 结论
        4.5.3 方向扩散梯度闽值大小、时间步长大小与分类精度关系
    4.6 基于改进停止函数的方向扩散实现航空影像图像ISODATA分类研究
    4.7 小结
5 结论与展望
    5.1 研究工作总结
    5.2 后续工作展望
参考文献
作者简介
攻读硕士期间发表论文

(7)垃圾邮件的特征选择及检测方法研究(论文提纲范文)

摘要
Abstract
第一章 绪论
    1.1 垃圾邮件的概念与历史背景
    1.2 垃圾邮件的发展现状
        1.2.1 数量规模增长化
        1.2.2 内容形式多样化
    1.3 垃圾邮件的主要应对措施
        1.3.1 制定法规和普及教育
        1.3.2 协议扩展与改进
        1.3.3 加强检测技术
    1.4 国内外研究现状
        1.4.1 系统控制方法
        1.4.2 检测过滤技术
    1.5 本文的研究工作
    1.6 本文采取的实验评价方式
        1.6.1 评价指标
        1.6.2 数据集
        1.6.3 参照标准
        1.6.4 实验环境
    1.7 本文的内容安排
第二章 基于邮件头特征增强的垃圾邮件特征选择方法
    2.1 概述
        2.1.1 电子邮件工作原理
        2.1.2 电子邮件协议
        2.1.3 电子邮件报文格式
    2.2 电子邮件头特征分析与统计
        2.2.1 邮件头特征分析
        2.2.2 邮件头特征统计
    2.3 基于邮件头特征加强的特征选择
        2.3.1 特征选择
        2.3.2 特征表示
    2.4 过滤模型
    2.5 实验结果及分析
    2.6 本章小结
第三章 基于时序统计的垃圾邮件特征选择方法
    3.1 概述
        3.1.1 常用特征选择方法
        3.1.2 一般特征选择方法的不足
    3.2 基于时序统计的特征选择方法
        3.2.1 时间序列数据概述
        3.2.2 垃圾邮件的时序特征统计与分析
        3.2.3 基于时序统计的特征选择方法
    3.3 基于时序预测模型的阈值调优
        3.3.1 阈值对过滤精度的影响
        3.3.2 基于ARIMA模型的时间序列预测方法
        3.3.3 阈值的动态优化
    3.4 实验及结果分析
    3.5 本章小结
第四章 基于结构化特征依赖的垃圾邮件检测方法
    4.1 概述
        4.1.1 NB分类器
        4.1.2 TAN和SP-TAN分类器
        4.1.3 HNB分类器
        4.1.4 LBR分类器
        4.1.5 AODE分类器
    4.2 基于结构化特征依赖的垃圾邮件检测方法
        4.2.1 特征选择优化
        4.2.2 SAODE模型建立
        4.2.3 主动学习
        4.2.4 工作流程
    4.3 实验结果及分析
    4.4 本章小结
第五章 基于优化SVM的垃圾邮件检测方法
    5.1 SVM概述
        5.1.1 最优分类平面
        5.1.2 结构风险最小化
        5.1.3 内积核函数
        5.1.4 二次规划求解
        5.1.5 SVM方法的优缺点
    5.2 基于SMO的实时增量学习SVM算法改进
        5.2.1 SMO算法研究
        5.2.2 实时增量学习的SVM检测算法改进
        5.2.3 实时训练集自适应优化
        5.2.4 实验结果
    5.3 基于风险检测的监督训练模型
        5.3.1 SVM过滤器的风险预测
        5.3.2 集成风险监督的自适应学习模型
        5.3.3 实验结果
    5.4 基于样本重采的代价敏感模型
        5.4.1 垃圾信息过滤的代价规则
        5.4.2 误分类代价敏感邮件过滤算法
        5.4.3 实现机制及方法流程
        5.4.4 实验结果
    5.5 综合实验结果及分析
    5.6 本章小结
第六章 结论
    6.1 本文的主要工作
    6.2 下一步的工作计划
参考文献
攻读博士学位期间取得的研究成果
致谢

(8)应用对偶理论求解二次规划问题的一种方法(论文提纲范文)

摘要
Abstract
1 引言
    1.1 历史概述及研究背景
    1.2 本文的研究工作
2 标准对偶变换理论
    2.1 基本概念
    2.2 标准对偶变换的基本思想
3 凸约束二次规划问题的求解
4 应用举例
5 问题的引申
    5.1 问题的产生
    5.2 问题的求解
        5.2.1 W(x ) 为凸函数
        5.2.2 W(x ) 为非凸函数
6 总结与展望
参考文献
致谢

(9)基于优化理论的支持向量机学习算法研究(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 选题的背景及意义
    1.2 SVM的研究与进展
        1.2.1 SVM的产生
        1.2.2 支持向量分类机(SVC)算法研究
        1.2.3 支持向量回归机(SVR)算法研究
        1.2.4 SVM的应用研究
    1.3 论文的研究目的、意义和主要工作
        1.3.1 研究目的和意义
        1.3.2 本文的主要工作
第二章 支持向量机及其理论基础
    2.1 最优化理论
        2.1.1 KKT条件
        2.1.2 Lagrange对偶
        2.1.3 Wolfe对偶
    2.2 统计学习理论的基本思想
        2.2.1 经验风险
        2.2.2 VC维
        2.2.3 结构风险
    2.3 支持向量分类机
        2.3.1 最优分类超平面
        2.3.2 线性支持向量分类机
        2.3.3 非线性支持向量分类机
        2.3.4 支持向量
        2.3.5 核函数
    2.4 支持向量回归机
        2.4.1 损失函数
        2.4.2 支持向量回归机
    2.5 小结
第三章 最小二乘支持向量机的一类快速算法
    3.1 引言
    3.2 变形支持向量机模型
        3.2.1 标准SVM模型
        3.2.2 二次损失函数SVM模型
        3.2.3 LSSVM模型
    3.3 最小二乘支持向量机的条件预优共轭梯度法
        3.3.1 对称正定线性方程组的求解
        3.3.2 条件预优共轭梯度法
    3.4 数值实验
    3.5 小结
第四章 一类新的光滑CHKS支持向量机
    4.1 引言
    4.2 光滑支持向量机及其发展
        4.2.1 光滑支持向量机的原理
        4.2.2 光滑支持向量机的优势
        4.2.3 光滑支持向量机的发展现状
    4.3 光滑CHKS支持向量机
        4.3.1 光滑CHKS支持向量机及其性质
        4.3.2 光滑CHKS-SSVM的Newton-Armijo算法
        4.3.3 非线性光滑CHKS-SSVM
        4.3.4 数值实验
    4.4 小结
第五章 支持向量机的调节熵函数法
    5.1 引言
    5.2 支持向量分类机的调节熵函数法
        5.2.1 无约束SVC模型
        5.2.2 调节熵函数法
        5.2.3 支持向量分类机的调节熵函数法(AEF-SVC)
        5.2.4 数值实验
    5.3 支持向量回归机的调节熵函数法
        5.3.1 无约束SVR模型
        5.3.2 调节熵函数法
        5.3.3 支持向量回归机的调节熵函数法(AEF-SVR)
        5.3.4 数值实验
    5.4 小结
第六章 模糊支持向量机算法
    6.1 引言
    6.2 模糊支持向量机
        6.2.1 模糊支持向量分类机
        6.2.2 模糊支持向量回归机
    6.3 基于边界向量提取的模糊支持向量分类机
        6.3.1 支持向量数据域描述
        6.3.2 提取边界向量
        6.3.3 构造模糊隶属度函数
        6.3.4 数值实验
    6.4 模糊最小二乘支持向量回归机
        6.4.1 最小二乘支持向量回归机
        6.4.2 模糊最小二乘支持向量回归机
        6.4.3 模糊最小二乘支持向量回归机的训练
        6.4.4 基于支持向量数据域描述的模糊隶属度的构造
        6.4.5 数值实验
    6.5 小结
第七章 训练半监督支持向量机的粒子群算法
    7.1 引言
    7.2 (?)TSVM算法
    7.3 光滑分段半监督支持向量机
        7.3.1 SPS~3VM 模型
        7.3.2 标准PSO算法
        7.3.3 线性等式约束问题的CLPSO算法
        7.3.4 训练SPS3VM的CLPSO算法
        7.3.5 数值实验
    7.4 小结
总结与展望
参考文献
致谢
在读博士期间撰写(发表)的论文
参加的科研项目与获奖情况

(10)基于RS理论和SVM的网络信息过滤技术的研究(论文提纲范文)

摘要
ABSTRACT
引言
第一章 网络信息过滤技术概述
    1.1 网络信息过滤定义
    1.2 网络信息过滤的研究与现状
    1.3 网络信息过滤的分类
    1.4 目前的网络信息过滤系统
第二章 基于RS 理论的决策表约简
    2.1 RS 理论
        2.1.1 RS 理论概念
        2.1.2 决策表与区分矩阵
        2.1.3 决策规则
    2.2 决策表约简算法
        2.2.1 决策表属性约简
        2.2.2 决策表值约简
第三章 基于SVM 的多分类方法研究
    3.1 SVM 理论
        3.1.1 SVM 基本方法
        3.1.2 结构风险最小化原则(SRM)
        3.1.3 最大间隔超平面分类器
        3.1.4 KKT 条件
    3.2 SVM 算法
        3.2.1 C-SVM 算法和ν -SVM 算法
        3.2.2 三种多分类SVM 算法
    3.3 二叉树多分类SVM 算法
        3.3.1 二叉树多分类SVM
        3.3.2 基于聚类的二叉树多分类SVM
        3.3.3 核函数的选取
第四章 RS 理论和二叉树多分类SVM 算法在WEB 信息过滤中的应用
    4.1 RS 与SVM 的特点及其结合的优越性
    4.2 基于RS 理论和二叉树多分类SVM 的新算法
        4.2.1 改进的启发式相对属性约简
        4.2.2 二叉树多分类SVM
    4.3 RS 理论和二叉树多分类SVM 算法在WEB 信息过滤中的应用
        4.3.1 构建Web 信息过滤模型
        4.3.2 实验结果与分析
第五章 二叉树多分类SVM 算法在电子邮件过滤中的应用
    5.1 系统总体设计
    5.2 基于二叉树多分类SVM 的邮件过滤器
        5.2.1 第一级过滤
        5.2.2 第二级过滤
    5.3 实验与性能分析
        5.3.1 性能评价准则
        5.3.2 实验结果与分析
        5.3.3 几种过滤方法比较
    5.4 基于URL 的垃圾邮件过滤
        5.4.1 HTML 格式垃圾邮件的特点
        5.4.2 基于URL 垃圾邮件过滤的工作原理
        5.4.3 测试
第六章 总结与展望
    6.1 全文工作总结
    6.2 进一步工作展望
参考文献
发表文章目录
致谢
详细摘要

四、二次凸规划的广义Fenchel定理与最优性条件(英文)(论文参考文献)

  • [1]稀疏结构化LSTSVR算法的研究[D]. 闫丽萍. 西安电子科技大学, 2019(02)
  • [2]关于箱约束随机变分不等式问题的两类新模型及其求解方法[D]. 王亚燚. 辽宁大学, 2017(03)
  • [3]基于分类噪声检测的支持向量机算法研究[D]. 夏书银. 重庆大学, 2015(07)
  • [4]几类神经优化问题的研究[D]. 吴广熙. 哈尔滨工业大学, 2014(02)
  • [5]两线性流形之间距离的算法研究[D]. 何金花. 福建师范大学, 2012(02)
  • [6]偏微分方程在遥感图像去噪与分类的应用研究[D]. 赵四能. 浙江大学, 2011(12)
  • [7]垃圾邮件的特征选择及检测方法研究[D]. 陈彬. 华南理工大学, 2010(11)
  • [8]应用对偶理论求解二次规划问题的一种方法[D]. 张楠. 辽宁师范大学, 2009(S2)
  • [9]基于优化理论的支持向量机学习算法研究[D]. 吴青. 西安电子科技大学, 2009(01)
  • [10]基于RS理论和SVM的网络信息过滤技术的研究[D]. 刘杨. 大庆石油学院, 2008(07)

标签:;  ;  ;  ;  ;  

二次凸规划的广义 Fenchel 定理和最优性条件
下载Doc文档

猜你喜欢