委员会机器模型及其应用

论文摘要

委员会机器是由一个门网络和多个专家神经网络组成的模块化集成系统。门网络将任务划分成多个子任务,专家神经网络各自承担全局任务中的一项子任务,最后将各子任务的解进行组合,实现对全局任务的求解。大量文献已经证实,整个系统的泛化性能可通过联合多个简单专家网络并组成委员会机器的方法得以提高。但在现实应用中,人们常因问题太复杂而无法对任务进行准确分解;由于现实问题的复杂程度千差万别,导致对委员会机器中专家网络“简单”程度把握的困难。因此,如何自动地更准确划分任务并为各子任务分配合适的专家网络,成为发挥委员会机器潜在性能的关键。针对这些问题,本文着重做了以下工作:1.传统的委员会机器使用模糊C均值算法(FCM)对样本集进行聚类,以实现分解任务的目的。针对FCM算法只能对类别规模相似的数据集进行聚类的情况,提出了含影响力因子的模糊C均值算法(FCMef)。为每个类别都赋予一个影响力因子,使各类别的规模可以通过影响力因子得以控制。利用影响力因子指数来调节各类别的影响力对比度,使FCM算法和FCMef算法统一到一个通用的模型中。2.提出了自适应的含影响力因子的模糊C均值算法(AFCMef)及相对更稳定的两阶段AFCMef算法。在FCMef算法中:1)影响力因子取值较大时更能体现类别间的规模差异;2)如果影响力因子过大,则会出现类别消失的迹象。AFCMef算法利用上述两个现象,启发式地寻找最优影响力因子指数。3.针对传统的委员会机器中采用单层线性网络作为专家网络时“简单”程度过于单一的情况,对单层非线性专家网络作了推广,并最终推广到了采用多层BP网络作为专家网络的更一般情况。4.概括了神经网络(专家网络)训练的一般过程,总结了训练过程中对训练结果的影响因素,从训练策略的角度提出了积极训练策略和消极训练策略。5.分别对降水、南中国海台风移动路径和恶意代码行为特征三类实际数据进行实验,肯定了委员会机器及本文对它所做的一些改进的作用。特别地,在利用降水数据对改进的委员会机器模型进行参数建模,得到三个关键参数在模型中取得较好预测效果时取值的相互关系规律,为同类问题的参数取值提供参考。

论文目录

• 摘要
• ABSTRACT
• 符号说明
• 第1章 绪论
• 1.1 委员会机器的产生背景
• 1.1.1 人工神经网络的产生和发展
• 1.1.2 委员会机器的产生
• 1.2 委员会机器国内外研究现状
• 1.2.1 相关概念
• 1.2.2 委员会机器的优势和条件
• 1.2.3 委员会机器的结构
• 1.3 专家混成系统与模块化模糊神经网络（MFNN）
• 1.3.1 Modular模糊神经网络的网络结构
• 1.3.2 Modular模糊神经网络的门网络训练
• 1.3.3 Modular模糊神经网络的专家网络训练
• 1.4 内容及组织结构
• 1.4.1 委员会机器模型存在的若干问题
• 1.4.2 研究目标及组织结构
• 第2章 基于门网络的改进技术
• 2.1 C均值目标函数
• 2.2 含影响力因子的硬聚类算法（HCMef）
• 2.2.1 HCM算法回顾
• 2.2.2 HCMef算法
• 2.2.3 自适应HCMef算法（AHCMef）和两阶段聚类策略
• 2.2.4 AHCMef算法实验
• 2.3 含影响力因子的模糊聚类算法（FCMef）
• 2.3.1 FCM算法回顾
• 2.3.2 FCMef算法
• 2.3.3 AFCMef算法和两阶段聚类策略
• 2.3.4 AFCMef算法实验
• 2.4 小结
• 第3章 基于专家网络的改进技术
• 3.1 含单层专家网络的委员会机器模型
• 3.1.1 线性神经元
• 3.1.2 线性委员会机器
• 3.1.3 S形神经元
• 3.1.4 S形委员会机器
• 3.2 含多层专家网络的委员会机器模型
• 3.2.1 BP网络概况
• 3.2.2 BP网络结构
• 3.2.3 BP训练算法回顾
• 3.2.4 BP网络应用于委员会机器
• 3.2.5 增加专家数量与提高单个专家能力
• 3.3 小结
• 第4章 神经网络训练策略
• 4.1 训练策略相关因素
• 4.1.1 训练过程
• 4.1.2 结束训练条件
• 4.1.3 权值更新条件
• 4.1.4 增量训练与批量训练
• 4.1.5 学习率调整技术
• 4.2 消极和积极训练策略
• 4.3 小结
• 第5章 实验数据模拟
• 5.1 实际数据介绍
• RAINFALL数据集'>5.1.1 DS_RAINFALL数据集
• TYPHOON数据集'>5.1.2 DS_TYPHOON数据集
• VIRUS数据集'>5.1.3 DS_VIRUS数据集
• 5.2 数据模拟结果
• RAINFALL数据集的比较分析'>5.2.1 线性委员会机器对DS_RAINFALL数据集的比较分析
• RAINFALL数据集的参数建模'>5.2.2 线性委员会机器对DS_RAINFALL数据集的参数建模
• RAINFALL数据集的测试'>5.2.3 BP委员会机器对DS_RAINFALL数据集的测试
• TYPHOON数据集的测试'>5.2.4 线性委员会机器对DS_TYPHOON数据集的测试
• VIRUS数据集的测试'>5.2.5 委员会机器对DS_VIRUS数据集的测试
• 第6章 结论及展望
• 6.1 本文小结及主要创新点
• 6.2 本文局限不足和今后研究方向
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 附录A 完整数据
• SINE）'>A.1 Sine曲线（DS_SINE）
• A.2 非线性方程数据
• TS_C）'>A.2.1 Takagi-Sugeno连续数据（DS_TS_C）
• TS_D）'>A.2.2 Takagi-Sugeno离散数据（DS_TS_D）
• ZIMM）'>A.3 Zimm数据（DS_ZIMM）
• C2E）'>A.4 两类相同规模点集（DS_C2E）
• C2UE）'>A.5 两类不同规模点集（DS_C2UE）
• CNUE）'>A.6 多类不同规模点集（DS_CNUE）