基于强化学习算法的发酵过程多目标优化

论文摘要

分批补料发酵过程的反应特点包括强非线性、时间滞后、参数时变性以及生物状态量难以实时测量等,对产物、底物和时间消耗进行直接的在线控制非常困难。因此,离线优化成为了改善各个生产指标的主要手段。另外,这种复杂的优化包含有多个不可比较的甚至是互相矛盾的目标。这种优化问题需要得到Pareto最优解集,即进行基于Pareto的优化。另一方面,分批补料发酵过程中还有3-5个单独的控制回路用于控制pH值、温度和溶氧等状态量,同样要面对发酵反应的复杂性问题。这种情况下传统的控制算法也不能取得很好的效果。近年来,智能算法在复杂系统的控制与多目标优化发展迅速。作为应用最广泛的一种强化学习算法,Q-learning算法具有结构简单、无需先验知识、需整定参数少等优点,适合复杂系统优化和无模控制。本文提出了一种基于Pareto的离散化Q-learning多目标优化策略（PDQL）,用于求解赖氨酸分批补料发酵过程的Pareto最优流加速率轨迹,以获得最优的生产指标。Q-learning算法与Pareto排序法相结合用于产生非支配解集,逐步逼近真实的Pareto前沿,并利用多组不同初始位置,同时共享搜索经验的agent共同搜索以增强并行搜索能力。优化结果与粒子群算法结合聚集函数法进行了对比,结果显示PDQL策略可以得到更多数量的解并具有更好的分布性。此外,针对发酵过程中的中和反应控制与温度控制设计了一种多步Q-learning控制器,利用Q-learning算法可进行无模控制的特点,重新设计误差的状态集,以克服发酵过程的反应复杂性。实验结果与PID控制进行了对比,证明了新控制器的有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 强化学习的发展与现状
• 1.3 Q-learning算法的基本知识
• 1.3.1 Markov决策过程
• 1.3.2 奖赏策略
• 1.3.3 Q值函数
• 1.3.4 动作选择机制
• 1.3.5 Q-learning基本步骤
• 1.3.6 Q-learning的优缺点
• 1.4 补料分批发酵过程概述
• 1.4.1 补料分批发酵过程
• 1.4.2 发酵过程的一般特点
• 1.4.3 分批补料发酵过程的多目标优化问题
• 1.5 Q-learning算法在优化与控制中的应用
• 1.6 本文的主要工作
• 第二章 离散化Q-learning算法的Pareto优化策略
• 2.1 引言
• 2.2 PDQL优化策略
• 2.2.1 基于Q-learning的优化策略
• 2.2.2 非支配集的构建方法
• 2.2.3 优化策略的步骤
• 2.3 PDQL的函数优化测试
• 2.3.1 单一目标函数测试结果
• 2.3.2 Fonseca函数测试
• 2.3.3 Viennet函数测试
• 2.3.4 Viennet（3）函数测试
• 2）函数测试'>2.3.5 Deb g（x₂）函数测试
• 2.4 本章小结
• 第三章 赖氨酸补料分批发酵过程多目标优化
• 3.1 引言
• 3.2 赖氨酸补料分批发酵过程模型
• 3.3 优化目标与优化解
• 3.4 优化步骤与比较算法
• 3.5 优化结果与分析
• 3.6 本章小结
• 第四章 多步Q-learning算法在发酵过程控制回路中的应用
• 4.1 引言
• 4.2 多步Q-learning控制器
• 4.2.1 多步Q-learning算法
• 4.2.2 多步Q-learning控制器设计
• 4.3 多步Q-learning控制器在中和反应中的应用
• 4.3.1 中和反应对象模型
• 4.3.2 控制器设置
• 4.3.3 控制结果与分析
• 4.4 多步Q-learning控制器在温度控制中的应用
• 4.4.1 酿酒酵母发酵过程温度控制模型
• 4.4.2 温度控制器设置
• 4.4.3 控制结果与分析
• 4.5 本章小结
• 第五章 结论与展望
• 参考文献
• 致谢
• 研究成果及发表的学术论文
• 作者简介
• 硕士研究生学位论文答辩委员会决议书