最小最大模块化网络及人脸属性分类研究

论文摘要

本论文的主要内容是研究最小最大模块化网络的网络冗余问题、先验知识融入问题、扩展问题,以及最小最大模块化网络在人脸属性分类中的应用。人脸属性分类问题指的是基于人脸图像的性别、年龄、表情和种族等属性分类问题。本文主要讨论性别分类和年龄估计问题。主要贡献包括如下几个方面:提出了线性最小最大模块化网络的反向搜索修剪方法。最小最大模块化网络的冗余性问题是最小最大模块化网络研究的一个重要研究问题。虽然我们可以用并行的机器来运算这些模块,但是如果模块数过多,很难找到能够大规模并行计算的机器。这个时候如果将最小最大模块化网络的冗余模块修剪掉,则不但可以大大减少网络的规模,而且可以减少并行计算的测试时间。本文探讨了如何在线性最小最大模块化网络中进行网络冗余模块的修剪的算法,并在许多标准测试数据集合进行了仿真实验,试验结果表明大部分的冗余模块可以被修剪掉,并且修剪后的网络和修剪前的网络具有相同的一般化性能。此外我们还把修剪后的最小最大模块化网络应用于工业图像的故障诊断当中,得到较好的试验结果。最后我们还开发了一个基于最小最大模块化网络工业图像故障检测的演示系统。提出了多分辨局部二进制模式方法。本文对人脸的特征提取方法进行了研究。我们将局部二进制模式方法(LBP)引入到人脸性别分类的特征提取当中,取得了较好的分类精度。进而,本文提出多分辨的局部二进制(MLBP)模式方法,并将该方法应用到性别分类中,取得比局部二进制模式方法更好的分类结果。我们还将多分辨的局部二进制模式人脸特征提取方法和最小最大模块化网络结合,进行人脸的性别分类和年龄估计。本文首次提出将先验知识融入到最小最大模块化网络中进行学习的方法。我们详细地讨论了先验知识在模式分类和机器学习中的重要性,讨论了如何在最小最大模块化网络学习中融入先验知识的方法。我们在具体的应用中,将角度信息、种族信息和性别信息分别做为先验知识,融入到最小最大模块化网络的学习当中,取得了较好的实验结果。本文首次提出了最小最大模块化网络的可扩展性学习方法。本文详细地讨论了最小最大模块化网络的可扩展性能力,讨论了如何将最小最大模块化网络的可扩展性应用到实际当中。我们在具体的应用中,将带有角度信息和种族信息的分类模块在最小最大模块化网络的学习当中进行扩展性学习。通过扩展性学习,我们可以更加方便地进行系统的更新,能够更加方便地处理大规模分类问题。考虑到最小最大模块化网络具有并行性学习能力,先验知识融入学习能力和可扩展能力,本文将最小最大模块化网络应用到性别分类当中。实验证明最小最大模块化网络的上述优点非常适合于解决像人脸性别分类这样的大规模复杂问题。我们在对性别分类问题进行大量的实验后,证实最小最大模块化网络在许多方面都优于传统的分类器。这些优点包括:与传统分类器相比,具有较高一般化能力、具有更快训练时间和测试时间以及具有非常灵活的可扩展性和先验知识融入结构。另外,我们开发了一个基于最小最大模块化网络的性别分类演示系统。最小最大模块化网络的上述优点同样适合于解决年龄估计问题。本文将性别信息做为先验知识融入到最小最大模块化网络的学习当中,然后进行年龄的估计。实验证明,在年龄估计中,最小最大模块化网络在许多方面都优于传统的分类器。这些优点包括:具有更高的一般化能力、具有更快的训练时间和测试时间以及具有非常方便的先验知识融入结构。另外,我们开发了一个基于最小最大模块化网络的年龄估计演示系统。

论文目录

• 摘要
• ABSTRACT（英文摘要）
• 主要符号对照表
• 第一章 绪论
• 1.1 研究背景
• 1.2 最小最大模块化网络的概述
• 1.2.1 最小最大模块化网络的起源
• 1.2.2 最小最大模块化网络的研究概况
• 1.2.3 最小最大模块化网络的应用概况
• 1.3 人脸性别分类和年龄估计的概述
• 1.3.1 人脸性别分类的研究现状和问题
• 1.3.2 人脸年龄估计的研究现状和问题
• 1.3.3 人脸数据库介绍
• 1.4 问题的提出
• 1.4.1 大规模并列学习问题
• 1.4.2 先验知识的利用问题
• 1.4.3 网络扩展问题
• 1.4.4 网络冗余问题
• 1.5 论文安排
• 第二章 最小最大模块化网络
• 2.1 引言
• 2.2 任务分解
• 2.2.1 K类问题的任务分解
• 2.2.2 二类问题的任务分解
• 2.2.3 更细的二类问题的任务分解
• 2.3 最小最大模块化网络
• 2.3.1 三种整合单元
• 2.3.2 模块组合原理
• 2.3.3 最小最大模块化网络
• 2.4 最小最大模块化网络的种类
• 2.4.1 线性最小最大模块化网络
• 2.4.2 最小最大模块化多层感知机
• 2.4.3 最小最大模块化支持向量机
• 2.5 最小最大模块化网络的相关研究
• 2.5.1 最小最大模块化网络的并行性
• 2.5.2 最小最大模块化网络的任务分解方法
• 2.5.3 最小最大模块化网络的扩展性
• 2.5.4 最小最大模块化网络的冗余性
• 2.6 本章小节
• 第三章 线性最小最大模块化网络的去冗余
• 3.1 引言
• 3网络的冗余问题'>3.2 线性M³网络的冗余问题
• 3.2.1 网络描述
• 3 网络的冗余问题'>3.2.2 M³网络的冗余问题
• 3网络的冗余模块修剪方法'>3.3 线性M³网络的冗余模块修剪方法
• 3.3.1 术语定义
• 3.3.2 反向搜索修剪算法
• 3.3.3 反向搜索修剪算法的理论分析
• 3.3.4 示例
• 3.4 实验与分析
• 3.4.1 双螺旋实验
• 3.4.2 Iris Plants 数据
• 3.4.3 Image Segmentation数据
• 3.4.4 手写体识别数据（optdigits）
• 3.5 工业图像的故障检测
• 3.6 BS算法的数学问题的思考
• 3.7 本章小节
• 第四章 人脸图像的特征提取
• 4.1 引言
• 4.2 相关的特征提取方法
• 4.3 人脸图像预处理
• 4.3.1 图像灰度化
• 4.3.2 自动人脸检测和眼睛定位
• 4.3.3 几何归一化
• 4.3.4 直方图均衡化
• 4.4 基于灰度的特征提取
• 4.5 基于Gabor的特征提取
• 4.6 基于局部二进制模式的特征提取方法
• 4.7 基于LBP特征提取方法的多角度人脸性别分类
• 4.8 基于多分辨的局部二进制模式的特征提取方法
• 4.9 基于多分辨LBP特征提取方法的多角度人脸性别分类
• 4.10 实验与分析
• 4.10.1 LBP与灰度特征提取方法的比较
• 4.10.2 多分辨LBP与其它特征提取方法的比较
• 4.10.3 其他方面的比较
• 4.11 本章小节
• 第五章 基于最小最大模块化网络的人脸性别分类
• 5.1 引言
• 5.2 特征提取
• 5.2.1 灰度像素特征提取方法
• 5.2.2 Gabor特征提取方法
• 5.2.3 LBP特征提取方法
• 5.2.4 多分辨LBP特征提取方法
• 5.3 最小最大模块化网络
• 5.4 先验知识融入问题
• 5.4.1 免费午餐定理
• 5.4.2 将先验知识融入到任务分解中
• 5.4.3 示例：多角度的性别分类
• 5.5 分类系统的网络扩展性
• 5.6 实验设置
• 5.6.1 数据库
• 5.6.2 特征提取的参数设置
• 5.6.3 模式分类方法
• 5.6.4 先验知识与非先验知识
• 5.6.5 扩展性与非扩展性
• 5.7 实验结果比较
• 5.7.1 在MLP上的比较
• 5.7.2 在SVM上的比较
• 5.7.3 运行时间上的比较
• 5.7.4 网络扩展上的比较
• 5.7.5 不同任务分解策略的比较
• 5.8 演示系统
• 5.9 本章小节
• 第六章 基于最小最大模块化网络的人脸年龄估计
• 6.1 引言
• 6.2 特征提取
• 6.3 多类分类问题
• 6.4 最小最大模块化网络
• 6.5 基于先验知识的分解方法
• 6.6 实验设置
• 6.6.1 数据库
• 6.6.2 特征提取的参数设置
• 6.6.3 模式分类方法
• 6.7 实验结果比较
• 6.7.1 在分类精度上的比较
• 6.7.2 在查准率、查全率和F-measures上的比较
• 6.7.3 运行时间上的比较
• 6.8 演示系统
• 6.9 本章小节
• 第七章 结束语
• 7.1 本文的主要贡献
• 7.2 后续工作
• 7.2.1 在最小最大模块化网络模型的下一步工作
• 7.2.2 在性别分类和年龄估计的下一步工作
• 致谢
• 个人简历、在学期间的研究成果及发表的论文