非负矩阵分解的两种算法

论文摘要

随着计算机和信息技术的发展,矩阵分解成为处理大规模数据的一种有效手段.例如,在数值计算中,利用矩阵分解可将规模较大的复杂问题转化为小规模的简单子问题来求解;在应用统计领域,通过矩阵分解得到原数据的低秩逼近,从而可发现数据的内在结构特征;同样在机器学习和模式识别的应用中,矩阵的低秩逼近可以大大降低数据特征的维数,节省存储和计算资源.然而传统的矩阵分解虽然功能强大,但在处理大规模非负数据时还存在如下缺点:1)不能保证分解结果的非负性,而负元素在实际问题中无意义:2)对数据的表示是基于整体的而不是基于部分的.因此这些经典的矩阵分解算法在处理大规模非负数据时受到一定的限制.而基于“乘性”迭代规则的非负矩阵分解(NMF)则可以克服这些缺点.NMF是利用非负约束得到数据近似表示的一种多变量分析方法,即任给定一个非负矩阵V,寻找两个非负低秩矩阵W和H,使得V≈WH,其中W称为基矩阵,日称为系数矩阵(或编码矩阵).由于NMF具有实现简单、分解速度快、分解的结果具有实际物理意义等优点,被认为是对大规模非负数据进行处理的一种有效途径,已经引起了许多科学家和研究人员的广泛关注.此外近年来利用NMF处理一些大规模数据已取得较好的成果,因此研究NMF具有重要的实际意义.研究表明,NMF是一个约束优化问题,涉及目标函数的选取,迭代规则的推导和收敛性分析等.本文通过构造适当的目标函数,提出了两种NMF算法,并证明了其收敛性.实验表明,这两种算法可行且有效.本文的结构安排如下:第一部分绪论.综述了NMF算法的发展、研究意义和现状及其在现实生活中的应用,并给出了由Lee和Seung提出的NMF算法理论.第二部分首先介绍了Bergman距离函数及其适用于NMF算法的一些特殊性质.在此基础上构造了BNMF算法的目标函数,并推导了迭代规则,进而提出了一种基于Bergman距离函数的非负矩阵分解算法(BNMF),并证明了算法的收敛性.最后为了验证算法的有效性,将其应用于ORL人脸图像的分解.实验结果表明,这种算法的效果较好,解的精度较高.第三部分将NMF看作含加性噪声的线性混合体模型,从统计学的角度构造了适用于非负矩阵分解的目标函数,推导了迭代规则,从而提出了一种基于指数分布的非负矩阵分解算法(ENMF),分析了其收敛性,并将此算法用于UMIST人脸图像分解中.实验结果表明,在适当的条件下ENMF算法可行且有效.

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 非负矩阵分解算法的发展历程
• 1.3 非负矩阵分解理论及研究现状
• 1.4 非负矩阵分解的实际应用
• 1.5 本文的主要研究工作
• 第二章 一种基于Bergman距离函数的非负矩阵分解算法（BNMF）
• 2.1 引言
• 2.2 BNMF算法
• 2.3 数值实验
• 2.4 本章小结
• 第三章 一种基于指数分布的非负矩阵分解算法（ENMF）
• 3.1 引言
• 3.2 ENMF算法
• 3.3 数值实验
• 3.4 本章小结
• 总结
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果