足球视频场景分析与三维重建的关键技术研究

论文摘要

多媒体信息的爆炸式增长要求人们研究开发视频检索技术。近年来,以体育视频内容分析为主要目标的研究已经成为热门领域。这项研究主要为观众提供精彩摘要并以多种形式呈现给用户。虽然经过十余年的努力,这一领域已经取得了长足进步,但当前取得的成绩与人们的期望还有很大距离。本文针对足球视频场景分析与三维重建中的若干关键技术进行了比较深入的研究,旨在提高它们的鲁棒性和可应用性。文中工作集中在以下三个方面:1)自动的球场检测算法,这项技术是场景分析与三维重建工作中共用的技术;2)运动对象的检测和跟踪,在体育视频中运动对象主要是指球员和球;3)从单视点广播视频中重建三维场景技术。本文的主要创新工作有:1.本文提出了一种基于本征图像的自动球场颜色检测算法。作为体育视频分析研究中一项关键技术,球场检测严重地受到阴影区域的影响,此算法可以有效地克服这一困难。算法首先自动地在色彩分布直方图中检测主颜色。因具有相似表面反射函数的像素值在正确的本征图像投影方向投影后,它们具有关于某一点对称分布。依据此特性,算法用已检测到的主颜色粗标定本征图像的投影方向。在此方向的指导下,算法根据本征图像的分布来判断第二主颜色是否是球场颜色的。此外,当确定了球场中阴影区域和非阴影区域后,本文提出通过最大化二者本征图像的分布相似度精细标定相机的本征图像的投影方向。实验表明此算法可以比较准确地检测球场颜色,同时精度的本征图像投影方向为在含有阴影区域的目标跟踪提供了一种光照不变的表观特征。2.本文提出了一种自适应的球场检测算法。针对广播视频流中的数据具有数量大、噪声多、同时来自多部相机的特点,在检测到的球场颜色的基础上,算法采用高斯混合模型对其建模,并且利用增量期望最大算法对模型参数进行在线估计。算法一方面提高了球场检测的效果,另一方面减少训练过程对数据存储的开销。实验表明,由于增量学习方法不断地强化模型的泛化能力,此算法取得了比单纯的直方图方法和一般的高斯混合模型方法更好的结果。3.本文提出了一种顺序数据关联策略应用于多目标的跟踪。多运动目标跟踪受到对象之间相互遮挡的困扰。因为比赛场地是平面,根据成像规律

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景及研究意义
• 1.2 体育视频分析与三维重建研究现状及分析
• 1.2.1 系统层面研究
• 1.2.2 体育视频内容分析中的关键技术研究
• 1.2.3 关键技术的性能比较
• 1.3 存在的问题
• 1.4 本文的主要工作及结构安排
• 1.4.1 论文的主要工作
• 1.4.2 论文的结构安排
• 1.4.3 本文的主要贡献
• 第2章 场地检测及场景分类
• 2.1 引言
• 2.2 球场颜色的自动检测
• 2.2.1 主颜色检测
• 2.2.2 本征图像
• 2.2.3 对含有阴影球场的处理
• 2.3 基于自适应高斯混合模型的球场检测
• 2.3.1 系统框架
• 2.3.2 模型参数的自适应调整
• 2.3.3 增量训练数据的选择
• 2.3.4 对参数漂移的处理
• 2.4 基于球场检测的足球视频场景分类
• 2.4.1 球场内和球场外的判别
• 2.4.2 球场内场景的分类
• 2.5 实验及结果分析
• 2.5.1 阴影检测结果
• 2.5.2 自适应高斯混合模型的检测结果
• 2.5.3 足球视频场景分类实验
• 2.6 结论及今后工作
• 第3章 运动对象检测和跟踪
• 3.1 引言
• 3.2 运动目标检测
• 3.2.1 球员的检测
• 3.2.2 球检测
• 3.3 目标跟踪
• 3.3.1 跟踪的目的和问题
• 3.3.2 基于Kalman滤波跟踪
• 3.3.3 单目标跟踪
• 3.3.4 多目标跟踪
• 3.4 系统框架
• 3.5 实验结果与分析
• 3.5.1 球员检测实验结果
• 3.5.2 球的检测与跟踪
• 3.5.3 球员跟踪结果
• 3.6 小结
• 第4章 三维场景恢复
• 4.1 引言
• 4.2 相机模型
• 4.3 球员位置与Homography变换
• 4.3.1 Homography变换
• 4.3.2 序列中任意帧的Homography计算
• 4.3.3 球员的位置计算
• 4.4 球的三维位置估计
• 4.4.1 球的位置估计理论分析
• 4.4.2 算法讨论
• 4.4.3 虚影计算
• 4.4.4 相机的位置估计
• 4.4.5 飞行平面的确定
• 4.5 全局运动估计
• 4.5.1 基于LKT的全局运动估计
• 4.5.2 改进建议
• 4.6 实验结果及分析
• 4.6.1 球员位置及相机覆盖场地范围
• 4.6.2 合成数据实验
• 4.6.3 实际视频数据上球的三维位置估计
• 4.7 小结及未来工作
• 第5章 足球视频精彩事件检测与重建原型系统
• 5.1 引言
• 5.2 事件检测系统
• 5.2.1 镜头检测
• 5.2.2 球场分割
• 5.2.3 场景分类
• 5.2.4 镜头描述子
• 5.2.5 实验结果及分析
• 5.3 精彩场景动画生成原型系统
• 5.3.1 球场模型建立
• 5.3.2 球及球员的处理
• 5.3.3 多视角操作
• 5.4 小结及今后工作
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢
• 个人简历