增量学习及其在图像识别中的应用

论文摘要

我们生活在一个信息爆炸的时代,增量学习成为处理这些每天都在增加的信息的唯一手段。同时,随着并行计算技术的发展,基于模块化的、并行的增量学习算法成为一个新的研究方向。高斯零交叉函数最小最大模块化网络（M3-GZC）正是一种具有模块化结构、并行计算能力和增量学习能力的分类器。然而,M3-GZC网络的模块数量是样本数量的平方级别,导致了平方级别的时间复杂度和空间复杂度,限制了M3-GZC网络在大规模问题中的应用。另一方面,M3-GZC网络的增量学习能力是建立在完全实例空间的,这导致了过高的存储空间需求,影响了分类精度。本文通过对M3-GZC网络的深入分析,提出了去除冗余模块算法和新的增量学习算法,并将它们成功应用到工业图像故障检测、性别识别、手写体输入识别等图像识别问题中去。本文的主要贡献在以下几个方面。1)本文分析了M3-GZC网络的特点:高度的模块化结构、一定的增量学习能力、学习的收敛性以及具有给出“不知道”输出的能力。为了更好地理解M3-GZC网络,本文讨论了它与两种常用模型——最近邻算法以及径向基函数网络的关系。2)本文通过对M3-GZC网络接收域特点的分析,提出了一种M3-GZC网络的结构修剪算法,去除冗余模块,从而减少存储空间需求,加快响应速度。本文在一些公共数据集上验证了该修剪算法的有效性,并将它成功地应用到一个工业图像故障检测项目。3)为了将M3-GZC网络的增量学习能力从基于完全的实例空间转变为基于部分的实例空间,本文提出了高门限增量检测算法和有监督的增量聚类算法。前者可以有选择地学习新样本中的代表性样本,并能对已经训练好的M3-GZC网络进一步去除冗余样本。后者则在学习过程中将训练样本进行聚类。这两种算法使得M3-GZC网络具有了真正意义上的增量学习能力。4)为了进一步提高M3-GZC网络的增量学习能力,本文从概念空间学习的角度,提出了层式支持向量机。它的主要思想是利用先验知识,将大规模复杂问题分解为若干子问题,然后分别求解这些子问题。测试时,首先判断测试样本属于哪个子问题,然后由该子问题对应的分类器决定输出。在层式支持向量机的基础之上,通过合并实例空间与概念空间,本文提出了基于M3-GZC网络和支持向量机的增量学习算法。它根据每个训练数据子集建立对应的支持向量机,同时不断更新M3-GZC网络。测试时,首先由M3-GZC网络判断测试样本属于哪些训练子问题,然后通过概率合并对应支持向量机的输出,给出最终结果。本文成功地将上述两种算法应用到多角度性别识别、手写体输入识别等领域。5)为了更好地将增量学习算法应用到图像识别领域,本文提出了多尺度边缘增强的图像预处理方法和自适应图像欧氏距离的图像相似性测量方法。由于在图像中,边缘通常反应图像的形状和结构,而非边缘部分通常受照明的影响产生灰度的变化。因此,本文提出一种多尺度边缘增强算法,它可以在图像的预处理阶段强化边缘信息,去除噪声、光照的影响。另一方面,在图像的相似性测量中,常用的欧氏距离忽略了图像结构,并不能正确表达图像间的距离。本文提出的自适应图像欧氏距离则考虑了像素之间的几何相关性和灰度相关性,并且可以很容易地嵌入到各种现有的模式识别算法中去。

论文目录

• 摘要
• ABSTRACT（英文摘要）
• 主要符号对照表
• 第一章 绪论
• 1.1 增量学习概述
• 1.1.1 增量学习问题描述
• 1.1.2 增量学习算法的分类
• 1.1.2.1 概念漂移
• 1.1.2.2 记忆空间
• 1.1.2.3 基本机器学习算法
• 1.2 高斯零交叉最小最大模块化网络
• 1.3 增量学习算法在图像识别领域的应用
• 1.4 论文安排
• 第二章 高斯零交叉函数最小最大模块化网络
• 2.1 最小最大模块化网络
• 2.2 高斯零交叉函数最小最大模块化网络
• 2.3 高斯零交叉函数最小最大模块化网络的特点
• 2.3.1 高度的模块化结构
• 2.3.2 增量学习能力
• 2.3.3 学习的收敛性
• 2.3.4 "不知道"输出
• 2.4 与其它分类器的关系
• 2.4.1 与最近邻分类器的关系
• 2.4.2 与径向基函数网络的关系
• 2.5 本章小结
• 第三章 高斯零交叉函数最小最大模块化网络的结构修剪
• 3-GZC网络的接收域'>3.1 M³-GZC网络的接收域
• 3.2 结构冗余分析
• 3.3 结构修剪算法
• 3.4 实验与分析
• 3.4.1 双螺旋问题
• 3.4.2 UCI数据集
• 3.4.3 工业图像故障检测
• 3.5 本章小结
• 第四章 高斯零交叉函数最小最大模块化网络的样本修剪
• 4.1 高门限增量检测算法
• 4.1.1 门限与接收域的关系
• 4.1.2 正向的高门限增量检测算法
• 4.1.3 反向的高门限增量检测算法
• 4.1.4 算法复杂性分析
• 4.2 实验与分析
• 4.2.1 棋盘问题
• 4.2.2 UCI数据集
• 4.2.3 工业图像检测
• 4.2.4 合并结构修剪与样本修剪
• 4.3 本章小结
• 第五章 基于高斯零交叉函数最小最大模块网络的增量聚类
• 5.1 聚类算法概述
• 3-GZC网络的接收域'>5.2 M³-GZC网络的接收域
• 3-GZC网络的聚类算法'>5.3 基于M³-GZC网络的聚类算法
• 5.3.1 算法描述
• 5.3.2 后处理
• 5.3.3 复杂性分析
• 5.3.4 与高门限增量检测算法的关系
• 5.4 实验与分析
• 5.4.1 棋盘问题
• 5.4.2 UCI数据集
• 5.4.3 工业图像检测
• 5.5 本章小结
• 第六章 多尺度边缘增强和自适应图像欧氏距离
• 6.1 多尺度边缘增强
• 6.2 图像欧氏距离
• 6.2.1 定义
• 6.2.2 标准化变换
• 6.2.3 与流形距离的联系
• 6.3 自适应图像欧氏距离
• 6.3.1 AIMED-D
• 6.3.2 ATMED-D
• 6.4 实验与分析
• 6.4.1 多尺度边缘增强实验
• 6.4.2 自适应图像欧氏距离实验
• 6.4.2.1 性别识别
• 6.4.2.2 人脸识别
• 6.4.2.3 手写体数字识别
• 6.5 本章小结
• 第七章 层式支持向量机及其在多角度性别识别中的应用
• 7.1 性别识别概述
• 7.2 多角度性别识别流程
• 7.3 层式支持向量机
• 7.3.1 算法描述
• 7.3.2 复杂性分析
• 7.4 实验与分析
• 7.4.1 基本的LSVM实验
• 7.4.2 重叠和镜像数据的LSVM实验
• 7.5 本章小结
• 第八章 基于样本空间和概念空间的增量学习
• 8.1 算法描述
• 8.1.1 训练过程
• 8.1.2 测试过程
• 8.2 实验与分析
• 8.2.1 UCI数据库和同心圆环问题
• 8.2.2 MNIST手写体数字识别
• 8.3 本章小结
• 结束语
• 参考文献
• 致谢
• 个人简历、在学期间的研究成果及发表的论文