基于MDP的多智能体交通信号灯控制方法

论文摘要

交通对城市经济的发展、人民生活水平的提高等起着十分重要的作用,可谓城市经济活动的命脉。智能交通系统(ITS)是解决现代交通拥挤、有效提高道路利用率的根本出路,它作为新世纪交通运输体系的发展方向,受到了世界各国的广泛重视。智能交通的飞速发展,使得交通信号灯配时优化方面的研究取得了很多突破。交通信号灯控制系统目前通常是静态和定时的,红绿灯的切换无法根据实际交通状况进行实时的控制,只能按照预先设定的周期进行,增加了无效等待时间,从而导致了道路使用效率的降低。本文提出的采用多智能体协作求解配时优化问题的分布式方法,是一种将交通信号灯配时优化问题应用于分布式最优约束满足问题(DOCSP)框架下求解的方法。其核心是:将一个全局的优化问题分解成多个子任务进行优化,分配给各个路口智能体(Agent);每个路口智能体负责求解各自的优化解,也就是部分最优解;通过各个智能体间的通信与协作,最终完成整个交通的优化求解。这样做可以实现单个智能体路口的智能控制,在一定程度上提高了处理交通问题的实时动态可扩展性,并能有效的保证系统的稳定性。我们通过建立虚拟城市道路格网平台来完成了系统的简单模拟实现,同时证明了基于MDP的分布式交通信号灯控制优化方法的有效性。该方法能够减少车辆延误,提高交叉路口通行能力,优于传统的控制方法。以上算法经过系统仿真集成与测试,得到了良好的运行结果,具有工程应用的可行性和时效性。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 课题背景
• 1.2 国内外研究现状
• 1.2.1 ITS 国内外发展现状
• 1.2.2 交通信号控制系统国内外研究现状
• 1.3 研究的动机和内容
• 1.4 研究的核心与难点
• 1.5 论文结构和章节安排
• 第二章 相关背景与技术
• 2.1 分布式人工智能
• 2.2 智能体基本概念
• 2.3 多智能体系统（MAS）
• 2.4 多智能体系统（MAS）与分布式问题求解（DPS）之间的关系
• 2.5 智能交通系统（ITS）
• 2.6 马尔科夫决策过程（MDP）
• 2.6.1 马尔科夫决策过程定义
• 2.6.2 Recursive properties of the value-贝尔曼最优方程
• 2.6.3 Q 方程
• 2.6.4 计算值方程
• 2.6.5 迭代策略
• 2.6.6 经验学习
• 2.7 约束满足问题
• 2.7.1 约束满足问题的基本概念
• 2.7.2 约束满足问题的定义
• 2.8 本章小结
• 第三章 基于 MDP 的多智能体路口信号灯控制设计原理
• 3.1 问题描述与模型建立
• 3.1.1 问题描述
• 3.1.2 路口的模型
• 3.2 智能体的协作关系建立
• 3.2.1 主干道路口节点之间的逻辑关系网络建立
• 3.2.2 主干道路口节点之间的协作关系
• 3.3 信号灯优化问题的求解
• 3.3.1 信号灯控制的约束满足问题
• 3.3.2 通过 MDP 决策寻找最优解
• 3.4 本章小结
• 第四章 主干道路口信号灯智能配时系统开发实现
• 4.1 软件开发环境
• 4.2 设计流程规划
• 4.3 主干道路口信号灯配时系统的系统框架搭建
• 4.3.1 系统框架的搭建
• 4.3.2 配时优化系统的智能体系统建立
• 4.3.3 配时优化系统的决策模型建立
• 4.4 本章小结
• 第五章 解决方案
• 5.1 管理智能体MA 生成初始状态S（t）
• 5.1.1 传感获取 Nix（t）
• 5.1.2 计算 Iix（t）
• 5.2 执行智能体TA 计算转移模型
• 5.2.1 冲突列表的建立
• 5.2.2 执行智能体TA 各自计算转移模型T
• 5.3 管理智能体 MA 决策
• 5.4 本章小结
• 第六章 实验平台搭建及实验分析
• 6.1 实验软硬件环境
• 6.2 构建实验平台类图
• 6.3 实验分析
• 6.3.1 抗压实验
• 6.3.2 疏通实验
• 6.4 本章小结
• 第七章 结论与未来的研究
• 致谢
• 参考文献