多目标马氏决策过程摄动问题的研究

论文摘要

多目标马氏决策过程是研究随机环境下多阶段决策过程优化问题的理论,其应用领域十分广泛,在近半个世纪的研究中,已经取得了丰富的成果,大多集中于最优方程及求解算法的问题。然而,我们在解决实际问题时,往往会由于运用观察、实验和测量等手段使所获得的数据不能完全准确,从而使得模型中的参数存在误差,这就将导致所建立的模型对实际问题存在一定的摄动,本文即分别针对离散时间折扣准则MOMDP模型、离散时间平均准则MOMDP以及连续时间折扣准则MOMDP模型的摄动问题给予讨论,并分为两步进行。 首先是MOMDP的最优理论。目前对MOMDP非劣策略的存在性问题主要集中于折扣准则MOMDP,因此本文依据文献[3]、[9]中对多目标问题的讨论方法,将文献[11]、[12]中平均准则MDP及连续时间折扣准则MDP的最优方程理论拓展到平均准则MOMDP及连续时间折扣准则MOMDP中,建立上述模型非劣策略所要满足的方程,从而建立MOMDP的最优理论。 其次,由于MOMDP的摄动问题的研究工作目前主要是从转移概率自身的性质出发,通过考察摄动对转移概率的稳态概率的影响,建立基于摄动的策略迭代法,以此来寻找决策者对MOMDP的满意策略。而就摄动对模型最优策略及最优准则函数的影响的研究目前还只是针对MDP的(见文献[2]、[4]、[8]),本文将文献[2]、[4]、[8]中对MDP摄动问题的理论向多目标情况进行拓展,即讨论转移概率的摄动后原模型的非劣策略是否依然非劣,以及保证非劣策略依然非劣的摄动限度的问题,并得到结论在一定条件下,摄动对非劣策略以及非劣目标向量的影响可以随摄动因子的变化而变化。 因此,如果控制转移概率或转移速率的摄动在很小的范围内,即决策者认为可以接收的范围,那么,我们运用上述的模型所得到的策略就可以更好地解决实际问题了。文中最后以一个多产品的库存管理为例给出了折扣准则MOMDP摄动理论的一个应用。

论文目录

• 摘要
• 英文摘要
• 第一章 绪论
• 1.1 多目标马氏决策过程的理论发展
• 1.2 MDP摄动问题的研究发展
• 1.3 本文结构与主要工作
• 第二章 折扣准则MOMDP的摄动问题
• 2.1 最优策略的存在性
• 2.2 模型的摄动情形
• 2.3 小结
• 第三章 平均准则MOMDP的摄动问题
• 3.1 非劣策略的存在性
• 3.2 模型的摄动情形
• 3.3 转换为折扣准则
• 3.4 小结
• 第四章 连续时间MOMDP的摄动问题
• 4.1 折扣准则
• 4.2 模型的非劣策略
• 4.3 模型的摄动情形
• 4.4 小结
• 第五章 MOMDP摄动模型的应用
• 5.1 建立模型
• 5.2 模型的求解
• 5.3 小结
• 第六章 结束语
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文