非监督的结构学习及其应用

论文摘要

在机器学习领域中,数据的表示方式是其中的核心问题。传统的方法经常通过特征向量的方式将数据表示为高维空间中的点。特征向量的表示方式由于简单直观的特性得到广泛的研究。但是,近年来的一些研究表明,单一的特征向量表示很难描述数据的某些特性。因此,基于结构的数据表示方式已经成为研究人员关注的重点。本文的研究重点是通过非监督的结构方式学习数据的结构。由于数据结构空间的搜索是组合问题,会出现组合爆炸现象,因此如何通过近似途径快速地搜索数据的结构空间是非监督学习的重点。根据不同任务的特性,我们提出了不同非监督学习算法。在文本聚类任务中,我们提出了层次谱聚类算法来进行文本的层次聚类和语义树的生成。在图像的物体识别任务中,我们提出了结构推导算法和知识传播策略学习物体的图模型的结构和参数。论文主要研究内容与创新成果如下:1.我们提出基于概率文法和马尔可夫场的物体模型（Probabilistic Grammar-MarkovModel,PGMM）。PGMM模型的学习过程只需要极少量的监督信息,即PGMM模型的结构和参数都可以通过非监督的方式进行学习。关键点三元组被提出作为PGMM模型的基本组成单位。结构推导算法通过对关键点三元组的组合来生成复杂的模型结构。由于PGMM模型的结构采用了联合树的形式,允许动态规划算法的使用,因此PGMM模型可以快速推理和参数学习。实验结果证明,PGMM模型能处理在未知背景中的物体识别和定位。在学习和推理过程中,PGMM模型允许物体在2D范围内的任意变化（位置、旋转和尺寸）。由于概率文法模型的帮助,PGMM模型不但能够处理物体具有不同的形态,还能够处理由不同的物体类别构成的混合类数据。2.我们提出一种学习概率物体模型（Probabilistic Object Model,POM）的新方法。POM模型综合各种视觉特征,能够同时执行图像分类、图像分割和图像物体识别等多个视觉任务的能力。我们通过组合使用互补图像特征的基本的概率物体模型的方式来学习POM模型的结构。在模型的学习过程中,我们提出了知识传播策略。该策略允许一个基本概率物体模型为其它基本概率物体模型提供信息,并且指导它们的学习过程。知识传播策略显著地降低了训练过程对数据的要求,也提高了推理过程的速度。PGMM模型是POM模型中的一个组成部分。相对于PGMM模型,POM模型不仅保留了PGMM模型的所有优点,而且能够执行更多的视觉任务。同时,在图像分类任务中,POM模型也具有更高的性能。3.我们提出一种新颖的层次聚类算法,谱层次聚类算法（Spectral Hierarchi-calClustering,SHC）。SHC算法是基于谱图理论的层次聚类算法。它采用AMG（Algebraic Multi-Grid）数值计算方法,通过迭代地权重融合方式,自底向上地分层合并节点进行聚类。AMG数值计算方法的应用保证了算法能够得到近似全局最优解。实验证明了SHC算法在文本聚类算法中的性能。SHC算法最终得到的自然并且不规则的聚类结构也是其一大特性。基于博客标签的语义树生成实验证明了SHC算法的聚类结构的合理性。它使得用户浏览语义树更为方便自然。综上所述,本文提出新颖的非监督学习模型结构的算法,将它们应用于物体识别和文本聚类任务中,并通过实验证明它们的合理性和有效性。

论文目录

摘要

ABSTRACT

第1章绪论

1.1 引言

1.2 物体识别

1.2.1 物体识别的研究意义

1.2.2 物体识别的主要难点

1.2.3 物体识别的主要任务

1.2.4 本文的贡献

1.2.5 物体识别的研究现状

1.3 文本聚类

1.3.1 文本聚类的研究意义

1.3.2 文本聚类的难点

1.3.3 本文的贡献

1.3.4 文本聚类的研究现状

1.4 论文的结构安排

参考文献

第2章基于概率文法和马尔可夫场的物体模型

2.1 绪论

2.2 研究背景

2.3 图像的表示:关键点和三元组

2.3.1 图像特征

2.3.2 关键点三元组

2.4 基于概率文法和马尔可夫场的物体模型（PGMM）

2.5 PGMM模型中的概率分布

2.5.1 生成叶节点:P（y|Ω）

g）'>2.5.2 生成可观测的叶节点:P（u|y,ω^g）

g）'>2.5.3 生成叶节点的位置和方向:P（z,θ|y,ω^g）

A）'>2.5.4 生成叶节点的外观的分布:P（A|y,ω^A）

A）,P（ω^g）'>2.5.5 先验分布:P（Ω）,P（ω^A）,P（ω^g）

2.5.6 匹配问题

2.6 模型的推理和学习

2.6.1 动态规划算法在PGMM模型中的使用

2.6.2 参数学习中的EM算法

2.6.3 结构推导

2.7 实验结果

2.7.1 图像分类任务中的性能

2.7.2 尺寸无关性和旋转无关性

2.7.3 可变化的图结构

2.8 讨论

2.9 申明

参考文献

第3章基于知识传播的概率物体模型

3.1 简介

3.2 基于知识传播策略的模型学习方法

3.3 图像的表示

3.4 POM-Full模型

3.5 POM-IP模型

3.5.1 POM-IP模型简介

3.5.2 POM-IP模型的学习和推理过程

3.6 POM-Mask模型

3.6.1 POM-Mask模型简介

3.6.2 POM-Mask模型的数学描述

3.6.3 POM-Mask模型的学习和推理过程

3.7 POM-Edgelet模型

3.8 实验结果

3.8.1 实验任务及其衡量准则

3.8.2 场景1:单物体类别图像的图像分类任务

3.8.3 场景2:单物体类别下的图像分割任务

3.8.4 关于POM-Full模型在不同类物体上的性能分析

3.8.5 场景3:尺寸和旋转有明显差异的物体类别

3.8.6 场景4:混合物体模型

3.8.7 场景5:匹配与识别

3.9 讨论

参考文献

第4章层次谱聚类算法

4.1 简介

4.2 相关工作

4.3 层次谱聚类算法（SHC算法）

4.3.1 数学描述

4.3.2 方法描述

4.3.3 谱分析

4.3.4 聚类结构分析

4.3.5 参数设定

4.4 实验结果:文本聚类

4.4.1 数据集

4.4.2 文档的相似性

4.4.3 评价准则

4.4.4 实验结果

4.5 实验结果:基于博客标签的语义树的生成

4.5.1 数据集

4.5.2 博客标签的相似性

4.5.3 数据标注说明

4.5.4 性能评估

4.5.5 语义树的结构分析

4.6 讨论

参考文献

第5章工作总结和未来展望

5.1 工作总结

5.2 未来展望

致谢

在读期间发表的学术论文与取得的研究成果

非监督的结构学习及其应用

论文摘要

论文目录

相关论文文献

猜你喜欢