本文主要研究内容
作者房立超（2019）在《方差正则化的交叉验证模型选择方法研究》一文中研究指出：统计机器学习的主要目的是依据训练数据集建立预测模型,用以描述给定数据的统计规律,并通过已有的模型对新数据进行预测。其中,模型的建立和选择是关键。所谓模型选择,指的是通过估计已建立的不同模型的性能,从而选出其中最好的模型。在传统的统计回归分析中,模型选择指的是变量的选择,从上世纪60年代开始它就一直是统计学中的重点研究问题。分类情形的模型选择主要包括两个方面:一方面是分类器(分类算法)的选择,对于给定的某个数据集,基于某个性能度量指标选择多个分类器中性能最好的一个;另一方面是特征(变量)的选择,选择一个最优性能的特征组合。现有文献中,回归和分类模型的选择常常是直接基于泛化误差的估计来进行,如基于广泛使用的泛化误差的交叉验证估计方法来进行模型的选择。然而,注意到基于这些估计的方法在选择模型过程中只使用了估计本身(均值的信息)而没有考虑估计的方差的信息,这样较大的方差将导致模型大的波动,趋向于选择较复杂的模型,从而导致模型较低的泛化性能。因此,本文将方差作为正则化项添加到传统的回归和分类模型选择准则中,提出了一种新的交叉验证框架下的方差正则化的模型选择准则。首先,通过模拟实验验证了方差正则化项在模型选择中的重要性。接着,大量模拟和真实数据上的实验验证了无论是对于回归还是分类任务,提出的方差正则化模型选择准则相比传统模型选择方法都能选择到具有更小泛化误差的更简单模型。进一步,从理论上证明了提出的方差正则化的交叉验证模型选择准则具有选择的一致性,即在有限样本下选择的最优模型在样本趋于无穷时同样成立,保证了模型选择的稳定性。
Abstract
tong ji ji qi xue xi de zhu yao mu de shi yi ju xun lian shu ju ji jian li yu ce mo xing ,yong yi miao shu gei ding shu ju de tong ji gui lv ,bing tong guo yi you de mo xing dui xin shu ju jin hang yu ce 。ji zhong ,mo xing de jian li he shua ze shi guan jian 。suo wei mo xing shua ze ,zhi de shi tong guo gu ji yi jian li de bu tong mo xing de xing neng ,cong er shua chu ji zhong zui hao de mo xing 。zai chuan tong de tong ji hui gui fen xi zhong ,mo xing shua ze zhi de shi bian liang de shua ze ,cong shang shi ji 60nian dai kai shi ta jiu yi zhi shi tong ji xue zhong de chong dian yan jiu wen ti 。fen lei qing xing de mo xing shua ze zhu yao bao gua liang ge fang mian :yi fang mian shi fen lei qi (fen lei suan fa )de shua ze ,dui yu gei ding de mou ge shu ju ji ,ji yu mou ge xing neng du liang zhi biao shua ze duo ge fen lei qi zhong xing neng zui hao de yi ge ;ling yi fang mian shi te zheng (bian liang )de shua ze ,shua ze yi ge zui you xing neng de te zheng zu ge 。xian you wen suo zhong ,hui gui he fen lei mo xing de shua ze chang chang shi zhi jie ji yu fan hua wu cha de gu ji lai jin hang ,ru ji yu an fan shi yong de fan hua wu cha de jiao cha yan zheng gu ji fang fa lai jin hang mo xing de shua ze 。ran er ,zhu yi dao ji yu zhe xie gu ji de fang fa zai shua ze mo xing guo cheng zhong zhi shi yong le gu ji ben shen (jun zhi de xin xi )er mei you kao lv gu ji de fang cha de xin xi ,zhe yang jiao da de fang cha jiang dao zhi mo xing da de bo dong ,qu xiang yu shua ze jiao fu za de mo xing ,cong er dao zhi mo xing jiao di de fan hua xing neng 。yin ci ,ben wen jiang fang cha zuo wei zheng ze hua xiang tian jia dao chuan tong de hui gui he fen lei mo xing shua ze zhun ze zhong ,di chu le yi chong xin de jiao cha yan zheng kuang jia xia de fang cha zheng ze hua de mo xing shua ze zhun ze 。shou xian ,tong guo mo ni shi yan yan zheng le fang cha zheng ze hua xiang zai mo xing shua ze zhong de chong yao xing 。jie zhao ,da liang mo ni he zhen shi shu ju shang de shi yan yan zheng le mo lun shi dui yu hui gui hai shi fen lei ren wu ,di chu de fang cha zheng ze hua mo xing shua ze zhun ze xiang bi chuan tong mo xing shua ze fang fa dou neng shua ze dao ju you geng xiao fan hua wu cha de geng jian chan mo xing 。jin yi bu ,cong li lun shang zheng ming le di chu de fang cha zheng ze hua de jiao cha yan zheng mo xing shua ze zhun ze ju you shua ze de yi zhi xing ,ji zai you xian yang ben xia shua ze de zui you mo xing zai yang ben qu yu mo qiong shi tong yang cheng li ,bao zheng le mo xing shua ze de wen ding xing 。
论文参考文献
论文详细介绍
论文作者分别是来自山西大学的房立超，发表于刊物山西大学2019-11-12论文，是一篇关于模型选择论文,泛化误差论文,交叉验证论文,方差正则化论文,山西大学2019-11-12论文的文章。本文可供学术参考使用，各位学者可以免费参考阅读下载，文章观点不代表本站观点，资料来自山西大学2019-11-12论文网站，若本站收录的文献无意侵犯了您的著作版权，请联系我们删除。
标签：模型选择论文; 泛化误差论文; 交叉验证论文; 方差正则化论文; 山西大学2019-11-12论文;