基于Side-Information的若干学习问题研究

论文摘要

本文主要讨论了基于Side-Information的若干机器学习问题。与通讯领域中的概念不同的是,Side-Information在本文中主要指一种样本层次的约束信息,用以表征两个样本是否属于同一类。显然,Side-Information是比样本标签更为一般的监督信息。因此,研究如何在学习算法中引入Side-Information将具有非常普遍的理论和实际意义。我们认识到:（1）在非监督学习中,利用Side-Information可以指导算法得到更有意义的结果;（2）样本点对中蕴含了样本变化的信息,这些信息对设计分类器非常有用,因此我们可以基于样本点对来设计分类器。本文的研究工作主要包含以下几个方面:首先,我们提出了一个同时利用Side-Information和大量未标注样本的自增强相关特征提取框架,并在此框架下设计了迭代自增强相关成分分析算法（ISERCA）。此框架借鉴了半监督学习思想:在样本点对空间中用高斯混合模型和Boosting方法设计半监督分类器,得到更多的Side-Information;然后利用已有的和扩充的Side-Information提取相关特征,把样本投影到新的特征空间,重复进行上一步。实验证明,ISERCA比其他同类算法更为鲁棒和有效。其次,我们从设计不变性流形距离的角度出发讨论了利用样本点对来设计流形分类器的思路,并且提出了可调整最近特征线分类算法（TNFL）。TNFL是一种基于同类样本点对设计的分类器,它改进了最近特征线分类算法（NFL）的缺点。在很多实际数据集上的实验结果验证了TNFL的有效性。最后,我们基于其他研究者的工作提出了结构共享局部流形分类器（SSLMC）。在SSLMC中,我们利用局部同类样本点对差来概率描述局部流形切子空间。同时为了克服因训练数据少、噪声大等引起的流形分类器性能下降的问题,我们在SSLMC中引入了“结构共享”的假设,其合理性在很多数据集上得到了验证。“结构共享”概念对其它流形算法的设计也会有所启发。

论文目录

• 第1章 引言
• 1.1 研究背景和意义
• 1.1.1 在学习算法中添加与问题相关的知识
• 1.1.2 基于Side-Information 学习问题的研究价值
• 1.2 本领域研究现状和文献综述
• 1.2.1 传统聚类算法
• 1.2.2 基于Side-Information 的算法综述
• 1.2.3 基于样本点对的分类算法
• 1.3 本文的章节安排
• 第2章 基于SIDE-INFORMATION 的半监督特征提取
• 2.1 引言
• 2.2 传统半监督分类算法
• 2.2.1 聚类假设
• 2.2.2 基于有限混合模型和EM 算法的半监督分类算法
• 2.3 基于 SIDE-INFORMATION 的半监督特征提取算法
• 2.3.1 基于 Side-Information 的半监督学习问题表述
• 2.3.2 基于 Side-Information 的半监督相关特征提取框架
• 2.3.3 如何给没有标签的样本点对进行标号
• 2.3.4 ISERCA 算法流程
• 2.4 实验结果
• 2.5 讨论
• 第3章 基于样本点对的流形分类算法
• 3.1 引言
• 3.2 利用样本点对设计流形分类算法
• 3.2.1 设计具有不变性的距离度量
• 3.2.2 切线距离（TD: Tangent Distance）
• 3.2.3 最近特征线分类器（NFL）
• 3.3 可调最近特征线分类器（TNFL）
• 3.4 实验结果
• 3.4.1 在UCI 机器学习数据集上的结果
• 3.4.2 人脸识别结果
• 3.4.3 TNFL 中的参数选择问题
• 3.5 小结
• 第4章 结构共享局部流形分类器
• 4.1 引言
• 4.2 相关工作回顾
• 4.2.1 基于流形不变性度量学习的统一框架
• 4.2.2 概率切子空间（PTS）
• 4.3 结构共享局部流形分类器（SSLMC）
• 4.3.1 局部概率切子空间（LPTS: Local PTS）
• 4.3.2 局部结构共享的假设
• 4.3.3 SSLMC 与一些相关算法的关系
• 4.4 实验结果
• 4.4.1 UCI 数据库上的实验结果
• 4.4.2 在数字识别数据库上的实验结果
• 4.5 小结
• 第5章 结论
• 参考文献
• 个人简历、在学期间发表的学术论文与研究成果