不确定半马尔可夫系统最优鲁棒决策研究

论文摘要

半马尔可夫决策过程(SMDP)可用来描述实际生活中很大一类离散事件动态系统,即半Markov系统。实际的系统不可避免地存在不确定性,而且对系统的优化往往涉及多极值优化问题,这使得对不确定SMDP鲁棒决策的研究更具现实意义。本文的主要工作是研究利用全局优化方法求解不确定SMDP的最优鲁棒控制策略。 SMDP一般是通过等价的马尔可夫决策过程(MDP)来分析研究的,同时对不确定SMDP的研究也是以确定性SMDP为基础的,故论文首先介绍了等价MDP的概念和确定性SMDP系统基于性能势的优化方法,再介绍不确定SMDP基于性能势的鲁棒决策求解的统一算法,它适用于平均和折扣准则两种情况。针对系统优化过程中可能涉及的多极值优化问题,本文重点介绍了用以解决这一问题的两种全局优化方法,即模拟退火算法和填充函数法。详细讨论了基于全局优化的系统优化方法在各种不确定SMDP鲁棒决策问题中的应用,包括在不相关不确定参数条件下求解系统最优鲁棒控制策略的策略迭代算法,和在相关不确定参数条件下求解系统最优鲁棒控制策略的一类极小极大优化算法。在每种参数条件下又分为两种情况,分别是仅等价无穷小生成子依赖系统参数,和性能函数与等价无穷小生成子都依赖系统参数。 本文以SMDP的数值实验方式,说明了有关算法在各种不确定情况下求解鲁棒决策问题的运用,验证了算法对折扣和平均两种准则是统一的:通过大量实验结果分析,讨论了各种算法在不同情况下的优化效果,以及针对不同情况选择和使用算法的建议;论文研究结果对建立实际半Markov系统的鲁棒决策机制具有一定理论和应用价值。

论文目录

• 第一章 绪论
• 1.1 离散事件动态系统
• 1.1.1 基本概念
• 1.1.2 DEDS的研究方法
• 1.2 半 Markov决策过程和性能势
• 1.3 半 Markov决策过程鲁棒决策
• 1.4 全局优化方法
• 第二章 半 Markov决策过程及基于性能势的优化算法
• 2.1 半 Markov性能势理论
• 2.1.1 半 Markov决策过程中的策略
• 2.1.2 确定性 SMDP的数学模型和性能准则
• 2.1.3 等价 Markov决策过程
• 2.1.4 SMDP性能势
• 2.2 确定性 SMDP基于性能势的优化
• 2.2.1 SMDP基于性能势的最优性方程
• 2.2.2 策略迭代算法
• 2.2.3 数值迭代算法
• 2.2.4 梯度算法
• 第三章 全局优化算法
• 3.1 确定性全局优化
• 3.1.1 隧道函数法
• 3.1.2 填充函数法
• 3.2 随机性全局优化
• 3.2.1 遗传算法
• 3.2.2 模拟退火算法
• 第四章 应用全局优化求解不确定 SMDP最优鲁棒策略
• 4.1 不确定 SMDP问题的描述
• 4.2 不相关参数 SMDP最优鲁棒控制策略的求解
• 4.2.1 求解算法
• 4.2.2 数值实验
• 4.2.2.1 等价无穷小生成子不确定情况
• 4.2.2.2 性能函数不确定情况
• 4.2.2.3 各情况的优化过程
• 4.2.2.4 最优鲁棒性能测度随折扣率变化的情况
• 4.2.3 实验分析
• 4.3 相关参数 SMDP最优鲁棒控制策略的求解
• 4.3.1 求解算法
• 4.3.2 数值实验
• 4.3.2.1 等价无穷小生成子不确定情况
• 4.3.2.2 性能函数不确定情况
• 4.3.2.3 最优鲁棒性能测度随折扣率变化的情况
• 4.3.3 实验分析
• 4.4 小结
• 第五章 结束语
• 参考文献
• 攻读硕士学位期间主要科研工作和成果