半监督协同训练算法的研究

论文摘要

传统的监督学习往往需要大量的带类别标签（Label）的样本对分类器进行训练。然而,在实际应用中,有标记样本（Labeled data）的获取较困难,无标记样本（Unlabeled data）的获取却很容易。因此,如何将大量无标记数据利用起来,提高分类器性能的半监督学习成为研究热点。在半监督学习领域研究的众多分支中,协同训练算法拥有易理解、稳定、收敛快等特点,引起了众多学者的广泛关注,取得了很多研究成果。随着其理论模型的不断完善,基于协同训练算法的应用也逐渐渗透到很多领域,如自然语言处理,图像检索以及模式识别等领域。本文首先对半监督协同训练算法的国内外研究现状进行了介绍,然后,对协同训练算法的发展过程及算法存在的主要问题进行了分析,最后详细介绍了本文在半监督协同训练算法领域开展的工作。归纳起来,本文的研究工作主要表现在以下几个方面:1.针对协同训练算法中分类器差异性小的问题,提出了Tri-training框架下的多视图半监督神经网络算法,算法通过神经网络激励函数的多样性来扩展参与协同训练的神经网络之间的独立性,在一定程度上解决了协同训练算法中分类器差异性小,算法在性能提升上受到限制的问题,同时提高了神经网络的分类精度,也改善了协同训练算法的性能。2.由于无标记数据引入容易产生噪音,从而降低算法性能,本文提出了基于遗传算法的无标记数据选择半监督协同训练算法,算法利用遗传算法的寻优功能间接的协助协同训练算法挑选有价值的无标记数据,以正确有效更新参与协同训练的分类器,防止有噪声的无标记数据引入,从而导致算法性能降低。3.为进一步有效选择无标记数据,减少分类误差,提出了基于图的显式置信度估计半监督协同训练算法,算法结合了基于图的半监督学习算法和半监督协同训练算法的优点。利用有标记样本和无标记样本自身的结构信息,显式计算无标记样本属于各类别的概率,结合三个分类器协同训练隐式地对无标记样本的置信度进行比较。通过显式和隐式双重置信度估计方法,提高对无标记数据选择的标准,防止噪声数据的引入。在UCI数据集的实验验证了以上的方法的有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 研究现状与存在的问题
• 1.3 本文研究内容及结构安排
• 1.3.1 本文主要研究内容
• 1.3.2 本文的组织结构安排
• 第二章 协同训练算法
• 2.1 协同训练算法的发展
• 2.2 协同训练的理论分析
• 2.3 典型协同训练算法
• 2.3.1 Co-training 算法
• 2.3.2 Tri-training 算法
• 2.3.3 Co-forest 算法
• 2.4 协同训练算法的应用
• 2.5 小结
• 第三章 Tri-training 框架下的多视图半监督神经网络
• 3.1 算法思想及流程图
• 3.2 多视图神经网络
• 3.3 实验及结果分析
• 3.3.1 实验设置
• 3.3.2 结果分析
• 3.4 总结
• 第四章 基于遗传算法的无标记数据选择半监督协同训练算法
• 4.1 遗传算法介绍
• 4.2 基于遗传算法的无标记数据选择半监督协同训练算法
• 4.2.1 算法描述
• 4.2.2 算法流程图
• 4.3 遗传算法对分类规则的挖掘
• 4.3.1 分类规则编码
• 4.3.2 适应度函数
• 4.3.3 基于遗传算法的分类规则挖掘方法描述
• 4.3.4 遗传算法挖掘分类规则的实现
• 4.4 实验及结果分析
• 4.4.1 实验环境与数据
• 4.4.2 实验参数设置
• 4.4.3 实验结果分析
• 4.5 小结
• 第五章 基于图的显式置信度估计半监督协同训练算法
• 5.1 基于图的半监督学习算法
• 5.2 基于图的显式置信度估计半监督协同训练算法框架
• 5.3 基于图的显式无标记样本置信度估计
• 5.4 算法描述
• 5.5 实验及结果分析
• 5.5.1 实验数据
• 5.5.2 对比算法
• 5.5.3 实验结果分析
• 5.6 小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 工作展望
• 致谢
• 参考文献