视频语义标注方法和理论的研究

论文摘要

随着多媒体和网络技术的发展，面向海量视频数据的检索已成为一种迫切的需要。作为视频检索的必要基础，视频索引问题的解决将为基于视频数据库和互联网的搜索应用提供基本的技术支持。而基于视频内容分析的自动视频标注是建立高性能视频索引的十分有效的方法。本论文针对非特定领域的视频数据集的标注任务，在一个统一的视频标注框架下，着重探讨了机器学习理论在时间序列（视频数据）这个特定背景下的理论扩展和应用，以及结合机器学习与视频特点的视频语义标注方法。研究利用半监督、主动学习以及两者之间的结合等方法提高标注准确性，以期对非特定领域的视频数据集，自动的或在尽量少的人工参与情况下，取得与完全手工标注尽可能接近的结果，达到可实际应用的目的。由于视频标注涉及到机器学习等领域中的许多重要的理论和应用问题，需要从新的角度，基于新的条件对这些问题重新进行审视，并在研究过程中不断探索、寻求人机结合的最佳途径，推动机器学习理论领域的发展。本论文的主要研究工作如下： 首先，由于高层语义概念与底层特征间存在着“语义鸿沟“，采用传统的有监督学习方法进行分类／标注时需要在很大的训练集上建立待标注概念的统计模型，从而保证所得到的分类器具有良好的推广性能，但是建立这个训练集往往需要大量的人工劳动。与之相对的是，我们可以很容易的获得大量的未标注样本，对未标注样本中的隐含信息加以挖掘可以在有限训练样本集的情况下有效的提高标注准确性。因此，对于某些简单概念，本文提出了多个基于半监督学习的自动视频标注方法。通过对几种常见的半监督学习方法，如自训练、互训练以及Co-EM等方法的分析，针对它们（主要是自训练和互训练方法）在视频标注应用中的局限，在提高分类的准确性和模型更新等方面做了深入研究，提出了相应的改进措施。与此同时，利用视频中语义概念分布的特点，在标注过程中结合视频聚类分析，有效的纠正了一些孤立的错误分类结果。这些基于改进的半监督学习的自动视频标注方法对简单概念取得了较好的标注结果，同时也为后续结合半监督和主动学习方法的半自动视频标注研究打下了基础。 其次，上述自动视频标注方法对复杂概念进行标注的结果仍无法令人满意，其主要原因在于“语义鸿沟”的存在，初始训练集中所含的信息不足以表示该概

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 视频标注研究的背景、现状与存在的问题
• 1.1.1 视频结构化
• 1.1.2 视频标注方法
• 1.1.3 特定领域中视频标注研究现状
• 1.1.4 存在的问题
• 1.2 本论文的研究目标和内容
• 1.3 本论文的组织
• 第二章 视频标注中常用的分类模型
• 2.1 混合高斯模型（GMM）
• 2.2 支持向量机（SVM）
• 2.2.1 最优分类面
• 2.2.2 线性不可分情况（广义最优分类面）
• 2.2.3 高维空间的内积运算
• 2.2.4 支持向量机
• 2.2.5 各种内积函数的支持向量机
• 2.3 Boosting算法
• 2.3.1 PAC学习模型
• 2.3.2 AdaBoost算法
• 2.4 本章小结
• 第三章 视频结构化及特征提取
• 3.1 镜头边界检测的基本方法
• 3.1.1 原始图像域的方法
• 3.1.2 压缩域的镜头边界检测方法
• 3.2 视频特征提取
• 3.2.1 颜色特征
• 3.2.2 纹理特征
• 3.2.2 形状特征
• 3.2.3 摄像机运动特征
• 3.2.4 视频的运动分析
• 3.3 本章小结
• 第四章 基于半监督学习方法的自动视频标注
• 4.1 半监督学习方法概述（Semi-Supervised Learning）
• 4.1.1 自训练（Self-Training）方法
• 4.1.2 互训练算法（Co-Training）
• 4.1.3 Co-EM算法
• 4.2 改进的半监督方法进行自动视频标注
• 4.2.1 基于视频特性的聚类方法
• 4.2.2 特征的互补性
• 4.2.3 聚类中的概念统一化方法
• 4.2.4 改进的自训练和互训练方法
• 4.2.5 实验结果及分析
• 4.3 基于互适应（Co-Adaptation）和标号更正的自动视频标注
• 4.3.1 在线模型自适应算法MLLR
• 4.3.2 基于GMM的互适应方法及标号更正
• 4.3.3 基于最小熵准则的聚类分裂
• 4.3.4 实验结果及分析
• 4.4 基于多个互补分类器的自动视频标注方法
• 4.4.1 多个互补分类器的自动视频标注框架
• 4.4.2 分类器的置信度计算
• 4.4.3 样本选择及标号的更正
• 4.4.4 后处理过程
• 4.4.5 算法描述
• 4.4.6 实验结果
• 4.5 本章小结
• 第五章 基于主动学习方法的半自动视频标注
• 5.1 主动学习方法（active learning）概述
• 5.2 基于多个互补分类器的半自动视频标注方法
• 5.2.1 基于多个互补分类器的半自动视频标注框架
• 5.2.2 主动学习过程
• 5.2.3 实验结果及分析
• 5.3 结合SVM模型与聚类调整的半自动视频标注方法
• 5.3.1 间隔梯度最大化的样本选择准则
• 5.3.2 针对视频特征的初始训练集构建
• 5.3.3 视频聚类的调整
• 5.3.4 改进后的主动学习方法
• 5.3.5 后处理过程
• 5.3.6 实验结果
• 5.4 本章小结
• 第六章 结合半监督和主动学习的半自动视频标注方法
• 6.1 自适应的半监督集成学习方法（ASSEMBLE）
• 6.1.1 分类间隔代价函数（Margin Cost Function）
• 6.1.2 AnyBoost方法
• 6.1.3 半监督的Boosting方法
• 6.2 结合半监督和主动学习的半自动视频标注
• 6.2.1 直接结合主动学习的方法—NALBoostU
• 6.2.2 在间隔最大化准则下的结合—ALBoostU
• 6.2.3 结合视频特点的考虑
• 6.2.4 采用ALBoostU方法进行视频标注的框架
• 6.3 实验结果及分析
• 6.3.1 Torch数据集上的实验
• 6.3.2 真实视频数据集上的实验
• 6.4 本章小节
• 第七章 总结与展望
• 参考文献
• 攻读博士学位期间发表的论文和参与的研究工作
• 致谢