贝叶斯学习框架下非线性制造过程建模及多目标优化关键技术研究

论文摘要

非线性过程多目标优化和建模是制造领域两个重要而联系密切的研究课题。基于机器学习和计算智能的非线性过程建模方法,仅利用离散样本数据,可以建立多响应曲面,对非线性过程本身数理机理要求不高,算法适应性强,在制造过程优化中得到广泛应用。与其他方法相比,贝叶斯框架下的机器学习方法使用概率表示所有形式的不确定性,可以在模型中包含先验知识,隐含地避免过拟合,通过贝叶斯定理实现学习和推理过程,提供基于模型解释的方差信息,同时还为模型选择提供了一套完整的理论。因此贝叶斯学习框架下的非线性过程建模及其多目标优化研究具有重要理论价值和经济意义。本文以非线性制造过程对研究对象,利用获取的含噪数据集,以小样本和实时性场合为研究切入点,从概率测度的角度,在贝叶斯统计学习框架下对非线性过程建模及多目标优化关键技术进行了深入研究。其主要研究内容和成果如下:1、论文首先采用组件描述方式,给出了面向制造过程的多目标优化系统框架。该框架包括先验知识或先验模型、过程采样与数据预处理、非线性过程建模与模型验证和基于模型的多目标优化与控制以及Pareto。多解决策。该系统化视角可用于分析比较现有优化系统,也可用于选择新组件组合成新集成系统用于特定非线性过程的多目标优化。2、依据上述系统框架,建立了一种基于相关向量机和遗传算法的混合智能方法来解决非线性制造过程中的工艺参数优化问题。基于稀疏贝叶斯学习的建模方法能够使模型具有更好的推广性,同时该建模方法有目前最稀疏的模型结构,因而更容易实现实时系统的建模要求。应用上述优化范式,本文给出了以物料分选系统优化调控为例的个案研究,实验结果证明了该混合智能方法的有效性,并且与其他的学习算法相比,在非线性系统辨识过程中,当相关向量集具备描述问题分布的能力后,即使训练样本增加,相关向量集数目仍然能够保持很好的稀疏性和稳定性。这对于需要不断给出适应度值计算的遗传算法的快速搜索过程和实时搜索近优工艺参数非常有利。3、通过扩展核方法中常用的高斯核的函数形式,提出基于自适应超球形高斯核函数相关向量机回归算法以获得更稀疏回归模型。在此类核函数中,每个相关向量对应一个问题空间上独立的超球。针对引入的新高斯核,本文提出了分阶段最大化贝叶斯证据算法用于推断相关向量机超参数。该算法能够自动根据非线性系统的响应信号的变化频率调整高斯核宽度的大小。在基准数据集上的仿真和EDM过程建模实验表明该方法能够获得比传统相关向量机更稀疏的解和更高逼近精度,因而适合实时性要求更高的非线性建模的情况。4、针对非线性过程建模中存在的小样本、脏数据的问题,以高速电火花线切割过程为应用对象,建立了一种基于高斯过程回归模型解释的可靠多目标优化方法。基于高斯过程回归的建模方法更适合制造过程建模的特点,能够使模型在小样本上具有很好的推广性,同时该建模方法有目前最好的预测精度。在可靠优化过程中,由预测响应的概率方差作为对预测不确定性的度量与高斯过程回归模型的响应一起构成了多个目标函数,从而使多目标优化的解具有一定的基于模型解释的可靠性。获得的Pareto前沿聚类后以交互的方式选出最有利的解。实验结果表明该建模方法在小样本上的模型精度、特征标度和预测模型的不确定性概率度量上有优势。并且在多目标优化过程中,通过设定可调整参数可以控制优化过程以获得更可靠的优化预测解。5、针对非线性过程建模中,存在具有专业领域专家过程知识而要建立的制造过程数据量严重不足时的矛盾,着眼于融合粗糙模糊系统和非常稀少的噪声样本,本文提出了基于模糊先验模型的分段相关性迁移插值算法,融合高斯过程回归算法对非线性过程建模以提高建模精度。在两个基准数据集和电火花线切割机床上的实验研究证明了该算法的可行性和有效性。实验结果表明即使是在非常有限的训练数据集上,结合非常粗糙的模糊先验知识仍能够大大提高预测性能。对于给定具有推广意义的模糊先验模型,基于改融合算法的高斯过程回归建模对样本的需求可大大降低并同时保持精度。由于该方法独立于模糊模型,因而也适用其他智能模型融合。6、给出了面向制造过程的非线性系统优化软件的系统架构以及各模块的功能。系统使用Matlab程序作为模型与算法程序运算的核心组件,集成于.net框架。为进一步研究与开发先进建模和优化算法提供一个良好的研究仿真平台。

论文目录

• 摘要
• ABSTRACT
• 目录
• 图表清单
• 术语表
• 第1章 绪论
• 1.1 课题研究背景
• 1.1.1 制造业背景
• 1.1.2 制造过程优化
• 1.1.3 制造过程建模
• 1.2 国内外研究现状
• 1.2.1 非线性过程建模
• 1.2.2 多目标优化
• 1.2.3 基于机器学习建模的非线性过程优化的工程应用
• 1.3 课题来源
• 1.4 非线性过程优化存在的问题
• 1.5 本文研究内容和章节安排
• 参考文献
• 第2章 面向制造过程的稳态非线性过程多目标优化系统
• 2.1 制造过程优化
• 2.1.1 制造过程优化方法
• 2.1.2 制造过程优化架构
• 2.2 面向制造过程的稳态非线性系统多目标优化系统化描述
• 2.3 先验知识或先验模型
• 2.4 数据采集与预处理
• 2.4.1 确定样本集规模
• 2.4.2 样本采集的实验设计
• 2.4.3 样本数据集预处理
• 2.5 非线性建模与模型验证
• 2.5.1 非线性建模
• 2.5.2 模型验证策略
• 2.6 多目标优化及控制
• 2.6.1 多目标优化方法的分类
• 2.6.2 常用多目标优化方法
• 2.6.3 基于"替代"模型的非线性过程优化策略
• 2.7 基于PARETO多解的决策方法
• 2.7.1 最满意解获取方法分类
• 2.7.2 本文使用方法
• 2.8 基于数据驱动模型的非线性过程优化存在的问题
• 2.9 本章小结
• 参考文献
• 第3章 基于稀疏贝叶斯学习的建模及其优化
• 3.1 引言
• 3.2 贝叶斯学习方法
• 3.2.1 贝叶斯学习理论特点
• 3.2.2 贝叶斯学习理论的基本观点
• 3.2.3 贝叶斯学习框架中的模型选择与Occam剃刀原则
• 3.3 相关向量机
• 3.3.1 RVM模型定义
• 3.3.2 贝叶斯推断
• 3.3.3 RVM模型预测
• 3.4 控制结构形式
• 3.5 优化问题的描述
• 3.6 优化控制的实施
• 3.6.1 基于均匀设计的采样
• 3.6.2 相关向量机模型
• 3.6.3 遗传算法的工程设计
• 3.7 实验结果与性能评价
• 3.7.1 集成系统开发
• 3.7.2 实验过程
• 3.7.3 实验结构与讨论
• 3.8 本章小结
• 参考文献
• 第4章 基于自适应超球形高斯核的相关向量机回归
• 4.1 引言
• 4.2 核方法中的高斯核函数
• 4.3 相关向量机的模型选择
• 4.4 自适应宽度高斯核的分阶段证据最大优化
• 2的证据最大化'>4.4.1 关于α和σ²的证据最大化
• 4.4.2 基于EM算法的解释
• 4.4.3 关于e的证据最大化
• 4.4.4 基于自适应高斯核的相关向量机分阶段优化算法
• 4.4.5 计算复杂度
• 4.4.6 基于快速相关向量机分阶段优化算法
• 4.5 性能评价与讨论
• 4.5.1 参数优化算法实施
• 4.5.2 多尺度数据集
• 4.5.3 Tipping二维Sinc数据集
• 4.5.4 基准数据集
• 4.5.5 EDM过程建模
• 4.5.6 讨论
• 4.6 本章小结
• 参考文献
• 第5章 基于GPR模型解释的可靠多目标优化
• 5.1 引言
• 5.2 非线性过程辨识的高斯过程回归方法
• 5.2.1 高斯过程回归
• 5.2.2 多响应回归
• 5.2.3 应用GPR对非线性过程建模
• 5.3 稳态非线性（WEDM-HS）过程优化
• 5.3.1 优化系统架构
• 5.3.2 模型预测的不确定性度量
• 5.3.3 WEDM-HS过程的多优化目标函数
• 5.3.4 集成系统开发
• 5.4 线切割电火花过程
• 5.4.1 优化过程参数选择
• 5.4.2 实验系统
• 5.5 结果和讨论
• 5.5.1 WEDM-HS和EDM建模研究
• 5.5.2 WEDM-HS过程模型可靠性优化
• 5.5.3 WEDM-HS优化结果决策
• 5.5.4 讨论
• 5.5.5 问题界定
• 5.6 本章小结
• 参考文献
• 第6章 基于相关智能模型融合的非线性过程建模
• 6.1 引言
• 6.2 相关工作
• 6.3 先验模型融合算法
• 6.3.1 两类冲突目标值的平衡
• 6.3.2 基于分段相关性迁移插值的重采样算法
• 6.3.3 样本点连接策略
• 6.4 算法
• 6.5 仿真研究
• 6.5.1 Sinc函数数据集
• 6.5.2 机器人手臂数据集
• 6.5.3 基准数据集的性能评价与讨论
• 6.6 WEDM过程建模
• 6.6.1 实验系统
• 6.6.2 WEDM过程的模糊模型
• 6.6.3 WEDM过程辨识结果
• 6.7 讨论
• 6.8 本章小结和展望
• 参考文献
• 第7章 非线性系统多目标优化原型系统
• 7.1 引言
• 7.2 非线性系统多目标优化软件架构
• 7.3 组成模块
• 7.3.1 人机交互层
• 7.3.2 Solution信息管理层
• 7.3.3 核心功能层
• 7.4 本文小结
• 参考文献
• 第8章 结论与展望
• 8.1 本文研究创新点
• 8.2 进一步研究方向与思考
• 参考文献
• 附录A 常用高斯过程协方差函数
• 附录B 高斯分布乘积的计算
• 附录C WEDM过程的融合GPR模型的MATLAB代码
• 攻读博士期间发表的论文
• 攻读博士期间参加的科研项目
• 致谢