基于统计学的视频语义分析与提取技术研究

论文摘要

视频分析是多媒体信息处理的重要研究内容。多媒体信息呈现爆炸式增长，海量视频数据需要高效的浏览、检索工具进行管理和访问。现有内容分析技术大多是基于非语义低层物理特征，不仅难以理解而且与人类思维中的高层语义概念相差甚远，严重影响和制约了基于内容的视频管理、检索技术进一步推广和应用。如何跨越低层特征和高层语义概念间的语义鸿沟，以语义概念来管理、访问视频数据，已成为多媒体领域颇具挑战性的研究课题。 本文基于统计学理论，提出了一个视频数据多粒度语义分析和提取的通用解决方案。在该方案中，多层次语义分析与多模式信息融合技术在同一模型中得到统一和应用。本文首先提出了一种基于统计分布的镜头渐变边界检测方法，并用一种具有时间语义语境约束的关键帧选取策略对时域内容进行表示；然后在基本视觉语义识别后，得出一种层次的多粒度视觉语义分析提取框架；随后把时频变换得到的声音频谱作为可观察特征，构建了基本声音语义识别的隐马尔可夫模型，通过语义窗口获得基本声音语义组后，按照高层逻辑定义提取音频高层语义；最后仿照人脑多感觉器官信息融合机理，将视频中多模式特征按不同类别进行划分，设计了一种基于仿生的视频语义分析两级多模式信息融合算法。 本文的创新点是： (1) 提出一种多层次/多粒度视觉语义分析的通用框架。仿照人类视觉系统的注意力机制，利用时空注意力模型选择动态和静态显著区域；将所选区域用模式分类技术进行基本视觉语义分类识别；设计了一种适合基本视觉语义分类识别的特征选择算法；得出一种定步长组合划分方法，用于对具有多峰分布属性的特殊显著区域进行基本视觉语义识别；将高层视觉语义看作是隐含状态，利用层次隐马尔可夫模型和帧切片策略建立时间语义语境约束后，对高层视觉语义进行提取。 (2) 提出一种对音频语义分析和提取的方法。采用隐马尔可夫模型(HMMs)对分析窗口内的基本声音语义进行识别；以贝叶斯决策排除语义窗口声音段中的未定义基本语义；按贝叶斯公式计算最大后验概率后，得到语义窗口内的一个基本声音语义组；采用高层语义逻辑定义来描述基本语义与高层声音语义概念间的联系，最终提取高层音频语义。 (3) 通过对人脑多种感官信息融合机理的分析，提出一种基于仿生的视频语义分析两级多模式信息融合算法。首先分别进行视频图像、音频、文字等各部分内的多模式特征融合，然后通过基于核的非线性算法把输入空间变换到高维特征空间，在特征空间中求取最优线性分类面，最终得到融合多模式信息的视频语义。

论文目录

• 摘要
• ABSTRACT
• 目录
• 图清单
• 表清单
• 缩略词及中英文词汇对照
• 1 绪论
• 1.1 研究背景
• 1.1.1 非语义视频内容分析
• 1.1.2 视频语义分析
• 1.2 国内外研究现状
• 1.2.1 视频语义内容分析
• 1.2.2 语义分析方法对比与总结
• 1.2.3 相关标准
• 1.3 课题来源
• 1.4 本文主要工作及创新点
• 1.4.1 本文主要工作
• 1.4.2 本文创新点
• 1.5 论文组织结构
• 1.6 本章小结
• 2 视频语义内容分析
• 2.1 引言
• 2.2 镜头边界检测与分割
• 2.2.1 基于统计分布的渐变镜头检测与分割
• 2.2.2 特征量提取与测量准则建立
• 2.2.3 渐变镜头边界检测
• 2.2.4 实验与分析
• 2.3 视频运动对象分割
• 2.3.1 全局运动计算与补偿
• 2.3.2 对象分割
• 2.3.3 实例实验
• 2.4 低层特征抽取
• 2.4.1 静态视觉特征
• 2.4.2 运动特征
• 2.4.3 音频特征
• 2.4.4 实验与分析
• 2.5 本章小结
• 3 视觉语义分析与理解
• 3.1 引言
• 3.2 基于时空注意力模型的基本视觉语义分析
• 3.2.1 注意力机制选择显著区域
• 3.2.2 视觉基本语义识别
• 3.2.3 视觉基本语义分类识别的特征选择算法
• 3.2.4 实验与分析
• 3.3 具有多峰正态分布属性的基本视觉语义识别
• 3.3.1 原理与解决思路
• 3.3.2 定步长组合划分方法
• 3.3.3 实验与分析
• 3.4 高层视觉语义分析
• 3.4.1 高层视觉语义模型构建
• 3.4.2 关键帧策略与时间语义语境约束线索
• 3.4.3 模型参数估计
• 3.4.4 时间语义的可观察符号
• 3.4.5 实验与分析
• 3.5 本章小结
• 4 音频语义分析与理解
• 4.1 引言
• 4.2 基本声音语义分析
• 4.2.1 基本声音语义模型
• 4.2.2 基本声音语义识别系统模型
• 4.2.3 谱特征提取
• 4.2.4 基本声音语义模型训练
• 4.2.5 基本声音语义识别
• 4.2.6 实验与分析
• 4.3 音频高层语义分析
• 4.3.1 音频高层语义建模
• 4.3.2 音频高层语义提取
• 4.3.3 实验与分析
• 4.4 本章小结
• 5 视频语义分析两级多模式信息融合
• 5.1 引言
• 5.2 模式划分与融合原理
• 5.3 融合模型与融合算法
• 5.4 实验与分析
• 5.5 本章小结
• 6 结论与展望
• 6.1 总结
• 6.2 进一步的工作
• 致谢
• 参考文献
• 附录 原型系统部分界面
• >攻读博士学位期间发表的论文_</li>

  相关论文文献

  • [1].《从语义分析到道理重构：早期中国哲学的新刻画》[J]. 中国哲学史 2020(01)
  • [2].“朋友”一词的演化过程及对交友的启示[J]. 文教资料 2017(04)
  • [3].「男·男の人·男性」的语义分析及其对教学的启示[J]. 长江丛刊 2017(09)
  • [4].语义分析视角下的科学理论[J]. 科学技术哲学研究 2020(04)
  • [5].“很+名词”结构的语义分析[J]. 天中学刊 2020(03)
  • [6].一种基于语义分析的热点新闻发现方法[J]. 计算机与现代化 2017(06)
  • [7].社会主义核心价值整体性的语义分析[J]. 探索 2015(01)
  • [8].语义分析法在城市色彩规划领域中的应用探讨[J]. 福建建筑 2013(04)
  • [9].语义分析技术在满意度测评领域应用研究[J]. 中国质量与标准导报 2019(02)
  • [10].语义分析方法及其行政法意义[J]. 法制与社会 2015(20)
  • [11].基于语料库的“X是X”语义分析[J]. 现代语文(语言研究版) 2017(02)
  • [12].绿色网络不良内容语义分析方法研究[J]. 计算机应用研究 2010(12)
  • [13].隐喻的二语习得:潜伏语义分析的预测与实验证据(英文)[J]. Teaching English in China 2009(01)
  • [14].中国社会语义分析现象透视[J]. 西南民族大学学报(人文社科版) 2009(08)
  • [15].语义分析系统研究(Ⅰ)——史籍语义分析流程[J]. 情报学报 2014(02)
  • [16].多语言输入的神经语义分析方法研究[J]. 计算机工程 2019(03)
  • [17].语义分析在翻译中的应用研究[J]. 海外英语 2018(19)
  • [18].企业年报信息披露的战略内容分析——基于语义分析系统[J]. 工业技术创新 2017(01)
  • [19].科技政策语义分析方法研究[J]. 情报工程 2015(06)
  • [20].可作状语的性质形容词语义分析[J]. 现代语文(学术综合版) 2017(10)
  • [21].法学研究中的语义分析方法[J]. 商品与质量 2012(S3)
  • [22].基于隐含语义分析的电商虚假评论识别[J]. 广西民族大学学报(自然科学版) 2018(01)
  • [23].Academic Profession:学术史梳理和语义分析[J]. 清华大学教育研究 2018(05)
  • [24].教育大数据视角下的内容语义分析模型及应用研究[J]. 电化教育研究 2017(01)
  • [25].语义与文心的互通——钱钟书的语义分析法初探[J]. 解放军艺术学院学报 2017(02)
  • [26].一种基于多分类语义分析和个性化的语义检索方法[J]. 东南大学学报(自然科学版) 2014(02)
  • [27].基于依存关系的中文句子语义分析研究[J]. 电脑知识与技术 2012(04)
  • [28].深度学习在汉语语义分析的应用与发展趋势[J]. 计算机技术与发展 2019(09)
  • [29].中国高校创新创业教育的历史考察与语义分析[J]. 临沂大学学报 2018(03)
  • [30].“比”字句的情景语义分析[J]. 现代语文(语言研究版) 2016(11)

  标签：视频语义分析论文;  特征抽取论文;  视频语义概念论文;  语义鸿沟论文;  多模式融合论文;  贝叶斯分类论文;  隐马尔可夫模型论文;  层次隐马尔可夫模型论文;