概率混合模型的研究及其应用

论文摘要

概率混合模型是一种常用的统计分析工具。由于其表达灵活，概率混合模型已成为当前最流行的密度估计与聚类工具之一。然而，概率混合模型的一般形式往往无法直接投入某些特殊的应用，例如自适应学习、大规模分类、以及多任务学习等。本文将对概率混合模型在上述三方面进行扩展。首先，本文提出了一种基于“从一般到特定”学习策略的递归式混合模型。它能够从一个离线学习得到的“一般模型”开始，通过在特定样本域内“主动”检测潜在正样本对自身增量式更新，最终进化为能够适应该特定样本域的“特定模型”。本文将其用于在线自适应建立适合特定图像光照条件的肤色模型，其检测剑的皮肤区域较之于传统方法在精确率上有显著提高。其次，本文提出了一种基于“最大化簇间距”学习准则的判别式混合模型——支持簇机。它整合了贝叶斯最优分类器与间距最大化分类器两者的优点：其一，使用高斯混合模型作为训练样本以降低样本数并同时保留原始数据的分布信息；其二，最大化簇间距以增强分类器的泛化能力。本文将其用于大规模数据分类问题，在基本不损失精度的情况下，它能使时间复杂度急剧降低。再次，本文提出了一种用于“跨域知识共享”的双向式混合模型——评分矩阵生成模型。通过对来自多个相关协同过滤域的评分矩阵使用双向式混合模型联合聚类，每个评分矩阵中的用户与条目均可看作抽样自评分矩阵生成模型，从而使其成为多个域之间知识传输与共享的桥梁。本文将其用于跨域协同过滤。实验证明，它确实能使每个任务从其它任务中获取额外的有用信息。本文提出的三种概率混合模型的新颖扩展各具特色，它们分别被用于解决三个常见但具有很高现实意义的机器学习问题。相对于现有方法，它们不但能够在实际测试中凸现其明显的性能优势，而且为解决这些已经发展至瓶颈的问题提供了与传统方法不同的学习框架与解决思路。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 概率混合模型的一般形式
• 1.2 概率混合模型的特性与功能
• 1.3 一般概率混合模型的局限性
• 1.4 本文的研究内容与结构
• 第二章 概率混合模型初步
• 2.1 有限概率混合模型
• 2.2 极大似然估计
• 2.3 期望最大化算法
• 2.4 模型复杂度与模型选择
• 2.5 非参数概率混合模型
• 第三章 增量式混合模型:从一般到特定
• 3.1 增量式混合模型的一般学习框架
• 3.2 一种基于"从一般到特定"学习策略的递归式混合模型
• 3.2.1 "从一般到特定"的递归学习策略
• 3.2.2 递归式混合模型的学习框架
• 3.2.3 递归学习中高斯混合模型的更新
• 3.2.4 可视化例子
• 3.3 应用:自适应特定图像的肤色模型
• 3.3.1 皮肤区域分割的背景与难点
• 3.3.2 从"一般肤色模型"到"特定肤色模型"
• 3.3.3 实验结果与分析
• 3.4 本章小结
• 第四章 判别式混合模型:最大化簇间距
• 4.1 基于概率混合模型的判别式模型
• 4.2 一种基于"最大化簇间距"准则的判别式混合模型
• 4.2.1 正负簇间距最大化准则
• 4.2.2 支持簇机（Support Cluster Machine）
• 4.2.3 支持簇机与其它模型之间的关联
• 4.2.4 可视化例子
• 4.3 应用:大规模数据分类与隐私保护数据挖掘
• 4.3.1 大规模数据分类
• 4.3.2 隐私保护数据挖掘
• 4.4 本章小结
• 第五章 双向式混合模型:跨域知识共享
• 5.1 从联合聚类到双向式混合模型
• 5.2 一种用于"跨域知识共享"的双向式混合模型
• 5.2.1 基于联合聚类的跨域知识共享
• 5.2.2 评分矩阵生成模型（Rating-Matrix Generative Model）
• 5.2.3 跨域评分矩阵之间的散度
• 5.3 应用:知识可共享的跨域协同过滤
• 5.3.1 协同过滤的背景与难点
• 5.3.2 基于评分矩阵生成模型的跨域协同过滤
• 5.3.3 实验结果与分析
• 5.4 本章小结
• 第六章 总结与展望
• 参考文献
• 数学符号对照表
• 发表论文列表
• 致谢