基于视频的人机交互方式研究

论文摘要

自然人机交互是未来计算机的发展方向,最终目标是使计算机能看,能听,能说,会思考。文章研究的是用多个指示色标块作为交互媒介,摄像头作为输入设备的基于计算机视觉的人机交互,重点是多个指示色标块的检测和跟踪,具体分成三个部分:1.运动目标区域提取。在整幅图像中查找指示色标块容易受到背景干扰,考虑到指示色标块在运动区域中,在连续帧中根据图像的相似性确定背景图像,当前帧图像与背景图像差分确定运动区域以去除背景干扰和缩小指示色标块查找的区域。该算法简单、运算复杂度低,鲁棒性好。2.指示色标块检测。指示色标块容易受到背景和光照等条件影响,颜色阈值会发生偏移,但是在某一个应用场景,指示色标块颜色向量值比较稳定。首先计算运动区域凸包,在凸包中进行采样并赋权值,然后通过聚类确定种子,使用基于最小错误率的贝叶斯决策作为生长准则进行生长。该算法与传统的颜色阈值向量方法相比,应用场景更广,效果更好。3.指示色标块跟踪。根据检测结果用Mean Shift算法在后续帧中实现指示色标块的跟踪实验,发现当色标块运动过快,或者每秒处理的帧较少时,前后帧的目标区域不重叠,跟踪不到目标。应用基于kalman滤波器预测的Mean Shift算法和基于灰预测的Mean Shift算法都可以克服这一问题,前者运算量大,运算速度慢,每秒处理的帧较少,导致视频处理时无法保证目标运动的连贯性,而后者可以克服这些限制,更加适用。实验结果表明,本文提出的指示色标块的检测方法和基于灰预测的Mean Shift跟踪算法,能满足应用需求,具有一定的实用价值和应用前景。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 相关研究现状
• 1.2.1 人机交互发展历史
• 1.2.2 人机交互发展现状
• 1.3 研究目标及主要内容
• 1.4 论文的组织与安排
• 第2章 运动目标区域提取
• 2.1 引言
• 2.2 运动目标提取的基本方法
• 2.2.1 时间帧差法
• 2.2.2 光流法
• 2.2.3 背景建模法
• 2.3 基于摄像头状态的背景差分法
• 2.3.1 摄像头状态判定
• 2.3.2 背景差分和最大类间方差法
• 2.3.3 图像去噪
• 2.3.4 实验结果
• 2.4 本章小结
• 第3章 指示色标块检测
• 3.1 引言
• 3.2 颜色空间
• 3.3 区域生长方法
• 3.3.1 种子选取方法
• 3.3.2 区域生长判定方法
• 3.4 实验结果与分析
• 3.4.1 实验结果
• 3.4.2 结果分析
• 3.5 本章小结
• 第4章 指示色标块跟踪
• 4.1 引言
• 4.2 预测估计
• 4.2.1 线性预测方法
• 4.2.2 统计预测方法
• 4.2.3 基于kalman 滤波器的预测方法
• 4.2.4 灰色理论的灰预测
• 4.3 跟踪方法
• 4.3.1 Mean Shift 算法
• 4.3.2 Camshift 算法
• 4.4 基于kalman 滤波器预测的Mean Shift 跟踪算法
• 4.5 基于灰预测的Mean Shift 跟踪算法
• 4.6 实验结果分析
• 4.7 本章小结
• 第5章 基于色标块的人机交互系统
• 5.1 引言
• 5.2 系统功能模块
• 5.3 交互系统功能
• 5.4 本章小结
• 第6章 结论与展望
• 6.1 结论
• 6.2 展望
• 参考文献
• 致谢
• 攻读学位期间参加的科研项目和成果