论文摘要
随着自然科学与社会科学的不断快速发展，各个领域中的数据都以几何级数的增加，人们要从这些数据中找到对自己有用的数据，找出这些数据的规律，更好的利用这些数据就成了当务之急。为了更好的利用现有的数据进行分类预测，人们研究出了各种基于不同理论的分类预测方法。这些方法在一些领域内取得了较好的效果，但每种方法也都有一些自身的局限性，研究人员对此也在不停的进行改进。专家混合系统就是在这种背景下出现的，它集中了现有优秀的数据训练方法，例如，神经网络，各种聚类算法。它实际运用聚类算法作为门网络拟合多个神经网络的输出，形成多层的专家网络，期望达到比单个数据训练方法更好的效果。现有的预测系统存在以下不足之处：(1)由于单个预测模型的局限性问题，对不同的样本数据的误差可大可小，模型稳定性不强。(2)手工定义各个专家网络的权值局限性大，针对性差。当样本数据通过不同的专家网络训练，加权组合后得到最终输出，该权值需要人工定义，与样本无关，比重过于平均，或者组合方法不科学，导致输出预测效果减弱。为了解决以上问题，本文提出了一种基于门网络的动态的委员会机器——专家混合系统(Mixture of Experts，MoE)。对于每组要训练预测的样本数据，MoE方法利用已使用聚类算法构造的门网络自动生成聚类，找到聚类中心，然后使用这些聚类中心计算样本点相对于各个聚类的隶属度。之后，该方法又运用专家网络对这些训练样本进行训练，对测试样本进行组合预测。MoE方法不仅自动定义了各个专家网络的权值，而且该数值也能随着样本的改变而变化。基于MoE方法，本文设计实现了基于模糊C均值聚类的专家混合系统MFMoE和基于支持向量聚类的专家混合系统MSVMoE。对于每一组样本数据，MFMoE和MSVMoE分别通过模糊C均值聚类和支持向量聚类实现门网络的功能。而MFMoE依赖样本数；聚类数需人为确定；聚类形状为超球体；各类中的样本数相差不多；另外，它是启发式算法，受初值影响较大。因为SVC对小样本效果较好，聚类数目自动生成，聚类形状可为不规则，各类中的样本数也能根据实际情况产生差别，无须定义初始中心，所以本文尝试用MSVMoE改进解决这些问题，改进MFMoE。