适合分布计算环境不确定性处理的概率图模型若干问题研究

论文摘要

随着计算和通信技术在网络中的长足进展,各种普适的分布计算环境正在飞速发展,其中包括传感器网络、多代理系统和自治自动机系统等。在这些分布计算环境中,不仅计算任务可以分配到各个节点,而且往往还要求能够收集在系统部署的物理区域中不同地点的信息。在很多情况下,它们收集到的大量数据中包含了很多的不确定性,其产生原因包括各种噪声信息、偏差以及不精确乃至部分失败的测量。于是在不确定性下进行推理,以产生关于所需信息的一致信任度,成为这些系统面临的主要任务之一。而完成这一任务的一类主要的和有效的方式就是利用概率图模型对不确定性进行模拟和处理。“概率图模型”是不确定推理和人工智能中一个重要的研究领域,在这个领域中有很多的模型和算法。这里的问题是,怎样利用这些模型和算法来处理分布环境中的不确定性。进一步的研究还会包括如何为各种不同的分布式应用建立新的模型和算法。在这样的问题背景下,本文所要研究和解决的问题包括:1)对于通过分布的方式收集起来的包含不确定性的数据,如何根据它们之间的相关性或依赖性建立概率图模型,包括确定模型的参数。2)对于包含不确定性的时间敏感数据和时序数据,如何为之在分布计算环境中建立动态图模型。在更进一步的分析中,这将包括如何解决诸如系统中的动态行为、异步行为以及模型对于系统的健壮性等问题。3)在很多情况下,一些需要广泛使用的图模型其参数是必须不断进行更新的,如何为这些模型的参数估计建立更新规则,并将其运用于分布计算环境。4)一些用于分布环境的概率图模型是在一定的上下文条件之下的,能否建立包含上下文的模型来模拟不同上下文对模型的影响。本文研究了各种概率图模型的理论和相关的算法,包括贝叶斯网、马尔可夫网、因子图、标准动态贝叶斯网、连续时间贝叶斯网以及一些上下文驱动的模型。与此同时,本文考察了在分布计算环境中,例如在传感器网络中,信息处理模型所应具有的特性和行为。在此基础上,本文在相关领域进行了如下的研究工作:1.通过研究一个可用于传感器网络不确定数据处理、并且对分布环境具有一般意义的混合结构图模型,本文对以分布计算方式学习该模型参数的问题进行了分析,并提出了解决方法,包括进行参数更新的方法。在对该模型的进一步分析中,发现了它在用于分布计算环境的时候,由无向关系所带来的限制条件太强。于是本文建立了一个经过扩展的、完全由有向结构形成的概率网络模型,并给出了完整的推理和参数学习方法。这一模型避免了无向结构所带来的限制,因此能适应更为广泛的应用。2.为模拟分布计算环境中的动态行为和处理时序数据,本文建立了一个基于标准动态贝叶斯网的模型。与上述静态模型相比,它能反映历史状态对当前状态的影响,不仅模拟更为准确,而且体现了系统环境的整个变化过程,其机制相对比较简单。与此同时,发现模型本身带来的同步等问题使得它只能在规模较小的网络中适用。于是本文提出了一个利用连续时间贝叶斯网进行模拟的新的动态模型。在建立这个模型的过程中解决的问题包括:在不均等时间间隔中的动态模拟;对分布计算环境中自然有的异步行为的模拟;信度更新和消息传播的算法;不同的信度消息在分布环境中的组织方式;以及当模型的宿主系统在其一部分出现故障或严重延迟时模型具有的健壮性。该模型的机制相对复杂,适用于规模较大的分布计算环境。3.本文提出了在连续时间贝叶斯网中进行参数估计的更新式学习算法。与目前对该新式模型所开发的(一次性)参数学习算法所不同的是,它能够用新的学习数据对模型原有参数进行更新,因此它同时可以用于对上面提出的、在分布环境中模拟连续时间动态性的模型进行参数更新。4.为了模拟上下文对一般化图模型的影响,本文提出了因子元网模型。与只能表示有向关系的贝叶斯元网相比,它能表示形式广泛的相关关系,包括有向和无向的依赖关系,以及对参数因子的多种表达形式。本文给出了在不同的上下文依赖关系和影响之下,对概率分布进行计算的示例,以及在该模型中进行推理的一般方法,并且展示了如何将该模型用于处理在不同环境条件下的传感器数据融合问题。

论文目录

• 摘要
• ABSTRACT（英文摘要）
• 第一章 绪论
• 1.1 引言
• 1.2 研究现状
• 1.3 存在问题与解决思路
• 1.4 主要研究内容
• 1.5 章节安排
• 第二章 概率图模型
• 2.1 概述
• 2.2 贝叶斯网
• 2.2.1 表示
• 2.2.2 推理
• 2.2.3 学习
• 2.3 马尔可夫网
• 2.3.1 表示
• 2.3.2 推理及信度传播
• 2.3.3 学习的问题
• 2.4 混合结构模型与因子图
• 2.4.1 表示
• 2.4.2 推理与学习
• 2.5 等分时间的动态模型
• 2.6 连续时间贝叶斯网
• 2.6.1 连续时间马尔可夫过程
• 2.6.2 CTBN 表示及基本问题
• 2.6.3 CTBN 学习
• 2.7 其它扩展模型
• 第三章 用于传感器网络的静态模型
• 3.1 概述
• 3.2 传感器网络
• 3.3 分布环境中的混合图模型
• 3.3.1 网络结构
• 3.3.2 模型结构
• 3.4 混合图模型的参数学习
• 3.4.1 分布式学习的可行性
• 3.4.2 参数学习和梯度计算
• 3.4.3 更新式学习算法
• 3.4.4 面临的问题
• 3.5 分布的有向概率网模型
• 3.5.1 模型结构
• 3.5.2 信度传播过程
• 3.5.3 DSPN 模型的学习
• 3.6 实验和说明
• 3.7 小结
• 第四章 分布计算环境中的动态模型
• 4.1 概述
• 4.2 分布环境和动态模拟
• 4.3 基于标准DBN 的模型
• 4.3.1 模型描述
• 4.3.2 模型操作与面临问题
• 4.4 利用CTBN 进行模拟
• 4.4.1 单一处理节点中的动态模拟
• 4.4.2 网络中的动态模拟
• 4.5 DCTPN 的运行机制
• 4.5.1 健壮性问题
• 4.5.2 信度传播机制
• 4.6 实验和说明
• 4.7 小结
• 第五章 连续时间图模型的参数更新
• 5.1 概述
• 5.2 CTBN 参数更新基本方法
• 5.2.1 基本算法
• 5.3 CTBN 参数更新规则
• 5.3.1 基于KL 距离函数的算法
• 5.3.2 对更新规则的分析
• 5.4 DCTPN 的更新和适应
• 5.5 实验和说明
• 5.6 小结
• 第六章 动态上下文模型与因子元网
• 6.1 概述
• 6.2 建立模型的基础和动机
• 6.3 对因子图参数受上下文影响的模拟
• 6.3.1 上下文对单变量因子的影响
• 6.3.2 上下文对多变量因子的影响
• 6.4 因子元网及其对因子分布的管理
• 6.5 应用示例
• 6.6 小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 进一步的工作
• 参考文献
• 致谢
• 攻读学位期间以第一作者发表的学术论文目录