非线性降维论文-翟涌光,屈忠义

非线性降维论文-翟涌光,屈忠义

导读:本文包含了非线性降维论文开题报告文献综述及选题提纲参考文献,主要关键词:遥感,数据处理,作物,分类

非线性降维论文文献综述

翟涌光,屈忠义[1](2018)在《基于非线性降维时序遥感影像的作物分类》一文中研究指出当前基于时序遥感数据的作物分类方法大都需要较多专家知识及人工干预,难以自动化,也难以移植到其他地区。将光谱降维技术用于时序遥感影像分析可以很好地解决这一问题。其中,非线性降维方法已经成功应用于高光谱数据,并且获得了比线性降维方法更好的结果。但是,直接将非线性降维方法用于时序遥感影像无法充分利用其时相维度的信息。该文改进了一种非线性降维算法——Laplacian Eigenmaps(LE)用于时序遥感影像的作物分类,该方法更加关注相同时相下不同作物生长季的物候特征差异,而不再仅依赖于整个生长季的物候曲线轮廓。改进的LE算法被应用于美国伊利诺伊州覆盖作物全生长季的Landsat 8时间序列影像。降维后保留的波段结合随机森林分类器基于美国农业部Cropland Data Layer(CDL)提供的训练数据完成了一系列的分类试验,并与传统插值未降维的方法进行对比。试验结果表明,改进的LE降维方法完成了更高的整体及各个类别的分类精度,其中整体分类精度达到85.37%,该方法作为一种自动化的方法,不需要人工干预,可直接移植到其他研究区,并且只需要较少的训练样本就可以完成一个较高的分类精度,为日后不同尺度的作物识别和提取研究提供了有效的方法。(本文来源于《农业工程学报》期刊2018年19期)

李刚[2](2018)在《基于非线性降维方法的高维数据可视化平台研究与实现》一文中研究指出互联网时代下,技术的不断进步推动了数据来源的丰富,降低了数据收集的成本,由此带来数据库规模扩大,数据维度爆发式增长。各种类型的数据诸如商业交易数据、Web文档、多媒体数据以及用户评论数据等,其维度少则数十维,多则上千维,乃至更高。高维数据的广泛存在和持续增加,使得高维数据挖掘存在重要的意义和前景。但是一方面由于维数灾难的存在,增加了高维数据挖掘的难度,必须采用其它手段对数据进行处理,另一方人类感知能力的局限性也限制了数据科学家和其它领域的专家对数据的认知。而数据可视化和降维方法的结合使得可以通过图形化的表达方式,直观地传达了数据关键特征,进而实现对稀疏复杂的高维数据集进行深入理解。但是对高维数据集进行可视化分析需要特殊的图表类型和对降维算法的理解和实现,这大大增加了对高维数据进行可视化分析的门槛。同时在对高维数据进行分析时,分析过程的不确定性和重复的参数调节也增加了对高维数据可视化分析的难度。在此背景下,本文设计并实现了一个基于非线性降维方法的高维数据可视化平台,后端框架采用Django,前端框架使用bootstrap,并基于D3.js、Highcharts实现平行坐标和散点矩阵进行数据可视化,降维方法实现了 PCA、t-SNE和LargeVis降维算法。数据存储使用JSON对象数组存储上传的数据样本。在此基础之上,借助于交互式地可视化体验和参数调节功能并加入描述统计分析帮助用户分析不同维度数据的特征和维度之间的关联性,简化了用户操作流程,降低了学习成本,打破了高维数据可视化的门槛。在论文最后一章,对平台进行功能测试,使用不同类型的高维数据集检验了高维数据可视化平台的可用性和实用性,满足了用户需求,实现了既定的设计目标。(本文来源于《北京邮电大学》期刊2018-03-14)

李荣灿,杨矫云,王海鹏[3](2017)在《基于非线性降维的合成生物元件可视化》一文中研究指出合成生物学中标准化元件数量多、种类杂,使得构建生物设备时难以选择标准化元件,将这些元件可视化有助于提高生物设备构建效率。考虑生物元件为长度不一的基因短序列,文章通过结合编辑距离与高斯核函数构建生物元件距离矩阵,使用拉普拉斯特征映射方法将生物元件序列降为二维或叁维数据;通过图形化展示,功能类似的生物元件可有效地聚类,功能差异大的元件可有效地区分,且对降维后数据聚类显示的二分类精度达到91.6%,叁分类精度达到82.4%。实验结果表明,降维后的数据具有良好的区分度,通过降维可视化将显着提高标准化元件的选择效率。(本文来源于《合肥工业大学学报(自然科学版)》期刊2017年12期)

曹小鹿,辛云宏[4](2017)在《基于Wasserstein距离概率分布模型的非线性降维》一文中研究指出降维是大数据分析和可视化领域中的核心问题,其中基于概率分布模型的降维算法通过最优化高维数据模型和低维数据模型之间的代价函数来实现降维。这种策略的核心在于构建最能体现数据特征的概率分布模型。基于此,将Wasserstein距离引入降维,提出一个基于Wasserstein距离概率分布模型的非线性降维算法W-map。Wmap模型在高维数据空间和其相关对应的低维数据空间建立相似的Wasserstein流,将降维转化为最小运输问题。在解决Wasserstein距离最小化的问题同时,依据数据的Wasserstein流模型在高维空间与其在低维空间相同的原则,寻找最匹配的低维数据投射。叁组针对不同数据集的实验结果表明W-map相对传统概率分布模型可以产生正确性高且鲁棒性好的高维数据降维可视化结果。(本文来源于《计算机应用》期刊2017年10期)

石浩[5](2017)在《基于等距特征映射的非线性降维及其应用研究》一文中研究指出随着大数据时代的到来,海量信息给我们的生活带来更多机遇的同时也带来了新的挑战。海量数据通常具有很高的维度,使得很多传统的数据分析方法无法直接对这些数据进行处理,这就是着名的"维数灾难",是21世纪数据分析面临的巨大挑战。数据降维作为解决"维数灾难"的重要工具,一直是机器学习、人工智能以及数据挖掘等领域的研究热点。然而传统线性降维算法的全局线性假设己经不能适应海量高维数据日益复杂的非线性结构,因此非线性降维方法成为了新的研究热点,其中流形学习的发展最为引人关注。以等距特征映射(Isometric Feature Mapping,ISOMAP)和局部线性嵌入(Locally Linear Embedding,LLE)为代表的流形学习算法以其简单直观的几何特性和完善的理论已经被成功地应用到不同的领域。但是目前基于流形学习的降维算法的研究中依然存在一些问题,例如计算复杂度问题、参数选择问题以及鲁棒性问题。以此为出发点,本论文围绕流形学习算法,特别是地标等距特征映射(Landmark-ISOMAP,L-ISOMAP)算法中存在的一些问题,进行了深入的探讨和研究,针对每一类问题提出了相应的解决方法,并且在人造标准数据集和真实数据集上对所提方法的有效性和可行性进行了验证。本文的主要工作和贡献如下:1.针对L-ISOMAP算法中的landmark点选择问题,提出了两种自适应的landmark点选择方法。第一种方法先采取贪婪策略得到邻域图的一个子覆盖,产生landmark候选点,然后从中挑选出互不相邻的点作为landmark点。第二种方法基于图论中的图顶点染色思想,采用Welsh-Powell算法对邻域图的顶点染色,然后利用Welsh-Powell染色定理选择其中的一个颜色划分中的点作为landmark点。在标准测试数据集和真实数据集上的仿真实验表明L-ISOMAP采用这两种方法所选取的landmark点都可以得到理想的低维嵌入结果。通过比较,第一种方法在计算准确性上要优于第二种方法;但是当遇到大规模数据集的时候,第二种方法具有更高的计算效率。在实际应用中,可以根据应用的场景和需求选取合适的方法。2.针对L-ISOMAP算法的鲁棒性问题,提出了两种消除"短路边"的方法。第一种方法基于计算最短路径时采用的Dijkstra算法的贪婪特性定义"边流量",通过选取"测试路径",实现对"边流量"的快速计算并且以此作为判断一条边是否为"短路边"的重要依据;第二种方法基于"短路边"的定义和流形的局部线性性质,以概率统计中的多维核密度估计函数为工具,分别计算流形上点的局部密度和边的区域密度,并且以此作为判断"短路边"的依据。通过大量在不同数据集上的仿真实验,验证了本文所提的两种方法可以准确地找出邻域图中的"短路边"并且将其从邻域图中删除,大大提高了 L-ISOMAP算法的鲁棒性。3.针对因特网流量矩阵数据的高维特性,利用改进的L-ISOMAP算法对因特网流量矩阵进行降维,分析流量矩阵的低维流形结构。首先对真实的网络流量数据进行流量矩阵建模,然后利用改进的L-ISOMAP算法对其进行降维,通过分析低维嵌入产生的"残差"曲线,证实了高维因特网流量矩阵的确具有低维特性。最后将流量矩阵数据投影到叁维和二维空间中,分析了不同流量矩阵数据的低维非线性结构,为从全网络的视角分析因特网数据流量特征提供了一种新的思路和解决方案。(本文来源于《中国科学技术大学》期刊2017-05-01)

马宇[6](2017)在《基于高维空间的非线性降维的局部线性嵌入LLE方法》一文中研究指出本文对于数据处理过程中常用的一些降维方法做了简单的分析介绍。首先,介绍了降维的主要概念以及数学定义,其中涉及到特征值问题以及优化问题,对于给定的一个高维空间数据集,对数据进行降维目的是将原来的高维空间进行压缩映射到低维空间当中,并且保持原始高维数据集的主要性质不变。当然,这其中还伴随着某些特征值问题。本文的主要任务之一是探索如何解决这些降维问题与优化问题,以及将高维数据如何可视化的研究;局部线性嵌入LLE方法是这篇文章主要研究的内容,并通过与线性降维方法的实例分析比较,从而分析了 LLE方法的优点及不足,且分析比较可以证明在实际应用中非线性降维还是很具实际意义的。本文的主要一个任务就是如何解决LLE方法其中存在的不足,并提出相应的改良方法。以下是提出了两种改进的LLE算法,对其参数的选择做出了一些改进,并且根据LLE方法不适用于稀疏非均匀数据集等的缺点,在方法优化中引入了加权矩阵的加权LLE方法,从而减小了方法的不适用性以及可适用性。此外,在样本点之间的距离应用测地距离而不是欧几里得距离来找到k个近邻的样本采集点,并通过公式验证了改进算法的可行性,以及此方法的有效性和实用性。(本文来源于《西南交通大学》期刊2017-05-01)

魏林,付华,尹玉萍[7](2017)在《煤矿瓦斯涌出量的非线性降维Elman动态预测模型》一文中研究指出为对回采工作面绝对瓦斯涌出量进行有效预测,提出非线性降维的改进Elmand动态预测模型.模型采用非线性映射在特征空间内对数据进行有效降维,以此确定神经网络输入数目,并利用自适应蚁群微分进化算法对改进的Elman神经网络(IENN)的阈值、权值、自反馈因子和增益因子行全局寻优.将该预测模型用于矿井监测的历史数据进行检验.研究结果表明:模型能够有效地减少预测模型的输入变量个数,并且相比其他预测模型提高了预测的精度和效率.(本文来源于《辽宁工程技术大学学报(自然科学版)》期刊2017年04期)

高畅[8](2016)在《基于GPU的高光谱影像非线性降维并行算法设计与优化》一文中研究指出高光谱数据降维是高光谱图像处理的关键步骤之一,通过提取连续波段的主要特征,减少信息冗余带来的大额计算开销和分类精度下降等问题。传统串行降维方法的计算复杂度高、处理耗时长,无法满足军事、地质等领域的实时处理需求。CPU+GPU异构系统结合强大的控制逻辑和高效的计算能力,已成为高性能计算领域的发展主流之一。本文针对降维难题,利用GPU强大的计算性能和内存带宽,克服计算和访存瓶颈,大幅提高单位时间的任务吞吐量。高光谱数据存在较多非线性因素,线性降维模型会损失原始信息量,具有较大局限性;而非线性降维算法因计算复杂、耗时巨大难以实际应用。本文研究高光谱影像非线性降维算法在多核与众核异构平台上的设计和优化,主要工作和创新点包括:1)研究基于核的非线性降维算法在GPU上的并行方案和优化策略,以KPCA算法为例,分析算法瓶颈,挖掘高斯核矩阵计算、双边雅克比迭代、KPCA变换等加速热点的并行潜能,就映射方案、算法访存模式展开讨论。改进双边雅克比迭代,并通过实验量化验证和比较了不同设计思路、优化方法的运行效果。结果表明,随数据量增大,加速比逐步提升,基于GPU的并行KPCA算法最高加速173倍。2)流形学习是当前非线性降维算法的研究热点,本文以经典算法ISOMAP为例,设计基于CPU/GPU异构系统的并行算法。设计了邻域图计算、最小前K值求解、全源最短路径(Floyd)等热点的并行方案,通过改进映射方案、使用共享存储、减少额外开销等策略进一步优化并行算法。实验比较各类并行算法的性能差异,并对算法特点和平台限制进行深入分析,结果显示,基于GPU的ISOMAP算法获得9.06~91.15倍性能提升。3)当高光谱数据增加至一定规模,受运行空间限制高光谱非线性降维在单节点上无法进行,因此引入分布存储方案。本文实现了基于MPI的KPCA算法,并结合共享存储、众核GPU架构设计了基于MPI+CUDA和MPI+OpenMP+CUDA两类并行加速方案。针对通信方式、任务负载、划分粒度、存储一致性、访存特性等方面逐一展开并行和优化讨论。实验表明,基于MPI+OpenMP+CUDA实现的KPCA算法比基于MPI的分布存储方案加速2.75~9.27倍。(本文来源于《国防科学技术大学》期刊2016-12-01)

杨磊,唐晓燕[9](2016)在《基于流形学习的高光谱图像非线性降维算法》一文中研究指出针对高光谱图像同一像元内存在多种地物种类,且地物之间具有多重反射,导致高光谱数据的非线性,采用传统的线性降维算法效果不佳等问题,提出利用流形学习的方法来寻找嵌入在高维观测数据空间的低维光滑流形,实现高光谱数据的非线性光谱降维。模拟和真实高光谱遥感数据实验结果表明,与传统的线性降维方法 PCA相比,经过等距映射、局部切空间排列等流行学习算法降维后的高光谱图像具有更好的光谱端元可分性。(本文来源于《河南理工大学学报(自然科学版)》期刊2016年05期)

王泽豪[10](2016)在《非线性降维算法的自适应近邻选择》一文中研究指出数据降维是计算科学当中一个非常重要的学术分支。进入21世纪之后,随着电子计算机技术与互联网技术的发展,数据的规模越来越大,维度越来越高。解决高维复杂数据问题,很多已有的算法会失效,或者因为计算代价太高而难以直接应用。为了从高维数据当中获取最重要的信息,计算科学界设计出多种降维算法用于提取大型高维数据当中本质的结构信息,包括主成分分析,MDS,LLE等。PCA和MDS是两个典型的线性降维算法,其算法内蕴的线性假设使得其在运用当中受到比较大的限制。以LLE为代表的非线性降维算法则在21世纪开始被人们所发现和利用,这一类算法统称为非线性降维算法。非线性降维算法的发展正是降维技术突飞猛进的标志。许多诸如LLE这样的算法通常会涉及到近邻选择问题,即如何定义两点之间的距离为“近”。而通常使用的k-近邻方法和ε-近邻方法在参数选择上比较主观,如果对于数据内在结构不甚了解,盲目的参数选择会使得降维结果不够理想。本文提出了一种自适应性的近邻选择方法w-index,借鉴期刊和学者评价当中着名的h-index方法的思想,不借助外部参数进行近邻选择。本文还通过对于LLE和MDS等降维算法的研究和分析,针对几个算法的缺点,提出了局部保持距离算法,希望能够改善LLE等算法的降维结果。(本文来源于《清华大学》期刊2016-05-10)

非线性降维论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

互联网时代下,技术的不断进步推动了数据来源的丰富,降低了数据收集的成本,由此带来数据库规模扩大,数据维度爆发式增长。各种类型的数据诸如商业交易数据、Web文档、多媒体数据以及用户评论数据等,其维度少则数十维,多则上千维,乃至更高。高维数据的广泛存在和持续增加,使得高维数据挖掘存在重要的意义和前景。但是一方面由于维数灾难的存在,增加了高维数据挖掘的难度,必须采用其它手段对数据进行处理,另一方人类感知能力的局限性也限制了数据科学家和其它领域的专家对数据的认知。而数据可视化和降维方法的结合使得可以通过图形化的表达方式,直观地传达了数据关键特征,进而实现对稀疏复杂的高维数据集进行深入理解。但是对高维数据集进行可视化分析需要特殊的图表类型和对降维算法的理解和实现,这大大增加了对高维数据进行可视化分析的门槛。同时在对高维数据进行分析时,分析过程的不确定性和重复的参数调节也增加了对高维数据可视化分析的难度。在此背景下,本文设计并实现了一个基于非线性降维方法的高维数据可视化平台,后端框架采用Django,前端框架使用bootstrap,并基于D3.js、Highcharts实现平行坐标和散点矩阵进行数据可视化,降维方法实现了 PCA、t-SNE和LargeVis降维算法。数据存储使用JSON对象数组存储上传的数据样本。在此基础之上,借助于交互式地可视化体验和参数调节功能并加入描述统计分析帮助用户分析不同维度数据的特征和维度之间的关联性,简化了用户操作流程,降低了学习成本,打破了高维数据可视化的门槛。在论文最后一章,对平台进行功能测试,使用不同类型的高维数据集检验了高维数据可视化平台的可用性和实用性,满足了用户需求,实现了既定的设计目标。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

非线性降维论文参考文献

[1].翟涌光,屈忠义.基于非线性降维时序遥感影像的作物分类[J].农业工程学报.2018

[2].李刚.基于非线性降维方法的高维数据可视化平台研究与实现[D].北京邮电大学.2018

[3].李荣灿,杨矫云,王海鹏.基于非线性降维的合成生物元件可视化[J].合肥工业大学学报(自然科学版).2017

[4].曹小鹿,辛云宏.基于Wasserstein距离概率分布模型的非线性降维[J].计算机应用.2017

[5].石浩.基于等距特征映射的非线性降维及其应用研究[D].中国科学技术大学.2017

[6].马宇.基于高维空间的非线性降维的局部线性嵌入LLE方法[D].西南交通大学.2017

[7].魏林,付华,尹玉萍.煤矿瓦斯涌出量的非线性降维Elman动态预测模型[J].辽宁工程技术大学学报(自然科学版).2017

[8].高畅.基于GPU的高光谱影像非线性降维并行算法设计与优化[D].国防科学技术大学.2016

[9].杨磊,唐晓燕.基于流形学习的高光谱图像非线性降维算法[J].河南理工大学学报(自然科学版).2016

[10].王泽豪.非线性降维算法的自适应近邻选择[D].清华大学.2016

标签:;  ;  ;  ;  

非线性降维论文-翟涌光,屈忠义
下载Doc文档

猜你喜欢