基于混合贝叶斯网络的医学图像语义建模及其检索的研究

论文摘要

医学图像语义检索的研究正成为医学图像检索研究的新热点,也是医学迫切需要解决的问题,它是实现医学图像理解的多学科交叉的研究课题,融合了医学、图像处理、模式识别、计算机视觉、机器学习、数据库与人工智能等研究领域。图像语义检索的难点和重点在于语义建模和语义相似度度量,而图像语义建模的核心任务是从反映图像内容的低层视觉特征提取出隐含的、预先未知的高层语义,弥补“语义鸿沟”问题。本文针对医学图像的特点和医学临床的需求,提出了基于混合贝叶斯网络（hybrid Bayesian network, HBN）的医学图像语义建模的方法,分别研究了医学图像语义的多层统计模型、对象语义和高级语义的获取以及语义相似度度量等内容,并将以上方法应用于星形细胞瘤恶性程度的预测,设计了星形细胞瘤恶性程度的语义模型和检索系统。本论文的主要研究成果及其创新点包括:1、提出了引入条件高斯模型来模糊离散化连续变量的基于混合贝叶斯网络的医学图像语义建模的方法（1）考虑到医学图像的特点以及贝叶斯网络的性能和优势,提出了利用贝叶斯网络来对医学图像的语义建模,但传统的贝叶斯网络只适用于离散变量,而自动提取的图像特征往往是连续的,为了可以在贝叶斯网络中使用连续变量,并考虑到医学图像特征的模糊性和不确定性,提出了使用条件高斯（conditional Gaussian, CG）模型对连续的视觉特征进行模糊离散化处理,然后嵌入到贝叶斯网络中,建立仅利用低层视觉特征的智能模型BN-CG-Low。仿真实验结果表明,该模型可以很好地描述图像的内容,从低层视觉特征自动提取高层语义,有效解决“语义鸿沟”问题,并提供了符合医学习惯的知识表达。（2）在第1（1）点的基础上,考虑到贝叶斯网络的数据融合能力,为了更完整地描述图像内容和提高语义提取的准确率和查全率,提出了融合低层视觉特征和中层语义的语义模型BN-CG,通过与BN-CG-Low的比较实验,BN-CG可以进一步提高准确率和查全率。2、给出了基于BN-GMM的医学图像的三层语义模型医学图像的诊断中,医生的思维是着重病变区域的性质和特点,然后综合考虑从不同角度对病变区的理解和判断,最后得出病症语义。从这个特点出发,我们提出了首先利用高斯混合模型（Gaussian mixture models, GMM）对病变区域进行模糊识别,实现从视觉特征到对象语义的映射,然后利用贝叶斯网络融合各种从不同理解角度得到的对象语义,从而建立一个基于BN-GMM的医学图像三层语义模型。与使用K近邻分类器（KNN）代替GMM的BN-KNN相比,取得了更好的精度和语义的可解释性。3、研究了分层的基于语义概率空间距离的语义相似度度量方法在前面所提出的语义模型中,不同层次的语义其重要性是不一样的,语义的概率反映了语义的置信度,这也符合医学诊断的习惯,因此提出了按照语义层次的不同进行分层处理,在每一层分别通过度量语义的后验概率空间距离进行语义相似度的度量。将这种度量方法应用于医学图像的语义检索,取得了令人满意的查询结果。4、设计了基于BN-SVM的医学图像三层语义模型考虑到临床实际中取得大量具有病理结果的医学图像训练样本的困难,很多研究成果表明,在小样本的情况下,支持向量机（Support vector machine,SVM）能取得比GMM更高的识别精度,因此提出了首先利用支持向量机对病变区域进行识别,实现从低层视觉特征到对象语义的映射,然后利用贝叶斯网络融合各种从不同理解角度得到的对象语义（来源于不同的SVM）,从而建立一个适用于小样本的基于BN-SVM的医学图像三层语义模型。实验结果表明,与采用K近邻分类器或GMM取代SVM的贝叶斯网络相比,取得了更好的结果。在本文所提供的相同图像样本下,本文所提出的三种方法用于医学图象语义建模,均比以往的嵌入KNN的混合贝叶斯网络有着更高的准确率和查全率。医学图像内容的分层和结构性表达、语义的自动获取、语义相似度的研究为实现能应用于医学临床的不同语义层次的检索提供了条件和基础。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及其意义
• 1.2 研究现状
• 1.2.1 图像语义提取的方法
• 1.2.2 语义相似度的度量
• 1.2.3 图像检索系统的性能评价
• 1.2.4 医学图像语义检索的研究现状
• 1.3 核磁共振图像（MRI）的产生
• 1.4 本文的主要工作
• 第二章 医学图像语义建模的相关技术
• 2.1 统计学习理论与方法
• 2.1.1 机器学习问题的表示
• 2.1.2 支持向量机的分类方法
• 2.2 贝叶斯网络
• 2.2.1 贝叶斯法则
• 2.2.2 贝叶斯网络的知识表达
• 2.2.3 贝叶斯网络的学习
• 2.2.4 贝叶斯网络的推理
• 2.3 高斯混合模型
• 第三章 引入条件高斯的基于模糊贝叶斯网络的医学图像语义建模
• 3.1 引言
• 3.2 贝叶斯网络的性能分析
• 3.3 医学影像诊断的特点
• 3.4 嵌入条件高斯模型（CG）的模糊贝叶斯网络
• 3.5 语义建模的知识结构
• 3.6 星形细胞瘤恶性程度的语义建模
• 3.6.1 训练样本的选择
• 3.6.2 图像特征提取
• 3.6.3 语义模型的结构设计
• 3.6.4 星形细胞瘤恶性程度语义模型的参数学习
• 3.7 仿真实验结果与分析
• 3.8 讨论
• 3.9 本章小结
• 第四章 基于BN-GMM 的多层医学图像语义建模及其检索
• 4.1 引言
• 4.2 嵌入高斯混合模型的模糊贝叶斯网络
• 4.2.1 使用高斯混合模型（GMM）提取对象语义
• 4.2.2 使用模糊贝叶斯网络BN-GMM 的病症语义提取
• 4.3 基于BN-GMM 的星形细胞瘤恶性程度语义模型的建立与推理
• 4.3.1 结构的设计
• 4.3.2 参数学习
• 4.3.3 概率推理
• 4.4 图像语义检索
• 4.4.1 语义相似度量
• 4.4.2 匹配策略
• 4.4.3 检索方式
• 4.5 实验结果
• 4.5.1 语义建模的结果
• 4.5.2 语义标注
• 4.5.3 知识表达
• 4.5.4 检索结果
• 4.6 讨论
• 4.7 本章小结
• 第五章 基于BN-SVM 的多层医学图像语义建模
• 5.1 引言
• 5.2 嵌入支持向量机的混合贝叶斯网络
• 5.3 基于BN-SVM 的星形细胞瘤恶性分级语义模型的表达与推理
• 5.3.1 结构设计
• 5.3.2 贝叶斯网络BN-SVM 的参数学习
• 5.3.3 贝叶斯网络BN-SVM 的推理
• 5.4 实验结果
• 5.4.1 使用支持向量机提取中层语义
• 5.4.2 使用贝叶斯网络提取高层语义
• 5.4.3 高级语义的准确率和查全率随训练样本数量的变化规律
• 5.4.4 图像的语义标注及其知识表达
• 5.5 本章小结
• 结论
• 参考文献
• 攻读博士学位期间发表或已录用的论文
• 致谢