面向智能移动监控辅助的可穿戴视觉研究

论文摘要

“持续辅助”和“增强”是可穿戴计算“人机合一”、“以人为中心”理念的核心内涵。近年来,可持续辅助人,增强人类感能、体能、智能的可穿戴计算技术和原型系统得到了快速发展,显示出了巨大的市场潜力和技术生命力。可对人进行视觉辅助和实时视觉增强的可穿戴视觉（Wearable Vision）便是这样一个新兴的研究方向和备受关注的前沿技术,它不仅涉及到可穿戴计算、机器视觉、人工智能、模式识别,也涉及到认知科学、心理学等多学科高技术的交叉和结晶。可穿戴视觉强调以与人类近似的“第一人视角”随时随地捕获穿戴者自己或周围环境的图像信息,利用计算机视觉技术给予实时分析和处理,最终形成对环境中人、事、物的综合理解,从而为穿戴者提供及时的视觉辅助和有意义的行动规划。随着监控技术的应用和发展,以固定摄像机为代表的视频监控系统已经充斥着大部分公共场所,但目前大多仍以录制视频图像和事后调用取证为主,不能胜任实时主动监控的需要,尤其对公共场所中突发犯罪事件的防控。因此,重要的公共场所仍然需要由人来进行巡逻防控和识别犯罪。另据研究表明,长时间、高注意力的视觉观察是极其消耗生物能量的脑力活动,极易产生视觉疲劳、反应迟钝、记忆减弱等不良精神状态,人在此状态下很可能会错过有价值的视觉信息。如果能为从事高强度视觉任务的巡逻者提供具有可持续视觉辅助功能,增强其视觉判断能力的可穿戴视觉系统,将大大提高巡逻防控效率和监控能力。可穿戴视觉系统随人移动,处于一个不可控的动态复杂环境中,在视觉图像处理与识别中面临着许多特殊的挑战与难题。本文是在目前国内外研究成果的基础上,通过研发人巡逻时用到的智能移动监控辅助系统原型来对可穿戴视觉的关键问题进行研究。主要贡献和创新点可概括如下:①在研究人机集成智能理论、计算机视觉理论及可穿戴智能的基础上,提出了适用于可穿戴计算环境和移动监控任务的可穿戴人机协同视觉体系WICVA,明确了实现该体系的两个关键模块:可穿戴视觉决策和视觉辅助的动态调度机制。可穿戴视觉决策为WearVision克服多变不可控复杂环境带来的识别影响提供了可行的应用框架,保证了WearVision在进行视觉信息处理时的有效性、选择性和智能性,是集成智能学的新发展和新应用。同时对WICVA中动态辅助机制进行了研究,提出了基于扩展模糊有色Petri网的动态辅助调度算法,使之能根据上下文自动调用相应辅助服务于巡逻者。WICVA是在人-机各自的视觉系统特点上进行取长补短、相互辅助,可用于指导可穿戴视觉辅助系统的应用设计,并为人机协同识别提供理论支撑。在该体系的指导下我们研发了可穿戴智能监控辅助系统原型iWearSA平台。②为实现WICVA中的人机共同感知,提出了一种人视觉注意力驱动的兴趣场景和候选目标图像捕获方法。该方法充分利用人视觉注意力的优点,结合分块场景匹配计算法和运动区域估计法识别出穿戴者的关注行为,以及主动注意和被动注意状态,因此可以有选择性地采集穿戴者感兴趣场景,避免采集和处理大量无意义的视觉图像,为可穿戴计算机节约了平台资源;同时,为了进一步明确运动目标区域,研究了可穿戴摄像机条件下的运动目标分割问题,提出了一种基于运动全景补偿的运动目标检测算法,该方法既弥补了WearVision视场较小的弱点,用于生成连续视场范围内的全景图像,又可对抖动图像序列进行稳像处理,输出稳像视频和运动目标区域,协助穿戴者进行更精确的运动目标搜索与定位。③为实现WICVA中对感知图像的选择性处理,提出一种基于图像质量评价优先度的择优处理策略,对该策略中的关键技术模糊图像检测技术进行了研究,给出了基于概率支持向量机的运动模糊图像分类方法,该方法能快速检测出采集图像是否存在运动模糊并估计模糊的程度,通过预设的质量处理策略筛选出合适质量的图像,既解决了可穿戴视觉系统在图像处理中的选择性和有效性,又可用于辅助提示穿戴者对不合格图像进行重拍。④对WICVA中的人机协同识别进行了探索性研究,以人脸追逃为实验背景,提出了一种可修正人眼检测定位错误的方法,该方法针对已有的Adaboost算法及人眼检测分类器进行人眼检测后的错误定位问题,能快速修正人眼的漏检、检误问题,提高了在不可控环境中的双眼定位准确率,使得分类器对任何可穿戴场景都有良好的通用性,提高了复杂背景和随意运动摄像机条件下的人脸检测率。最后,提出了基于单训练样本和变归一化尺度的快速人脸识别算法,按“机粗人精”的人机协同识别顺序进行了室内外实验,即由WearVision先快速识别出候选者,再由人进行精确识别。实验证明人机协同识别比单独用人识别或者单独用机器识别的准确率更好,更符合实际应用。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 课题的提出及意义
• 1.2 可穿戴视觉概述
• 1.2.1 可穿戴计算的发展
• 1.2.2 可穿戴视觉的定义
• 1.2.3 研究进展
• 1.2.4 研究内容
• 1.2.5 主要研究挑战
• 1.3 智能移动监控概述
• 1.3.1 视频监控的发展
• 1.3.2 当前不足及改进思路
• 1.3.3 可穿戴智能移动监控的提出
• 1.4 本文主要工作
• 1.4.1 研究内容与创新点
• 1.4.2 研究主线
• 1.4.3 论文结构
• 2 可穿戴人机协同视觉体系设计与实现
• 2.1 引言
• 2.2 人类视觉观察特性分析
• 2.2.1 “一心不能二用”
• 2.2.2 “视而不见”
• 2.2.3 注视与眼动
• 2.2.4 视错觉
• 2.2.5 选择注意机制
• 2.3 计算机视觉发展趋势与理论分析
• 2.3.1 认知科学对计算机视觉的启示
• 2.3.2 计算视觉理论模型
• 2.3.3 基于目的的主动视觉理论模型
• 2.3.4 基于知识的视觉理论模型
• 2.4 可穿戴人机协同视觉体系WICVA 研究与实现
• 2.4.1 基于可穿戴计算的人机集成智能理论
• 2.4.2 面向智能移动监控辅助的上下文分类分析
• 2.4.3 WICVA 的需求与设计目标
• 2.4.4 WICVA 结构与关键模块设计
• 2.4.5 动态辅助机制相关核心概念
• 2.4.6 动态辅助调度算法
• 2.4.7 动态辅助调度的仿真实验验证
• 2.5 WICVA 的初步实现-iWearSA 平台
• 2.5.1 iWearSA 平台简介
• 2.5.2 监控任务
• 2.5.3 系统特点
• 2.6 小结
• 3 人视觉注意力驱动的兴趣场景及候选目标捕获
• 3.1 引言
• 3.2 与视觉注意相关的认知机制
• 3.3 面向移动监控的人注意力状态检测与捕获策略设计
• 3.3.1 主动注意状态
• 3.3.2 被动注意状态
• 3.4 人视觉注意力驱动的兴趣场景捕获
• 3.4.1 算法描述
• 3.4.2 基于分块特征的场景相似度计算
• 3.4.3 关注行为的确认
• 3.4.4 实验与分析
• 3.5 人视觉关注行为下的运动目标检测
• 3.5.1 问题的提出
• 3.5.2 相关技术分析
• 3.5.3 基于特征点匹配稳像原理
• 3.5.4 基于Harris 分区特征点提取
• 3.5.5 基于特征窗的特征点匹配
• 3.5.6 全局运动补偿
• 3.5.7 图像全景拼接
• 3.5.8 候选运动目标区域标注
• 3.5.9 实验结果及分析
• 3.6 小结
• 4 基于图像质量评价优先度的择优处理
• 4.1 引言
• 4.2 穿戴采集图像分析与择优处理策略设计
• 4.2.1 图像质量评价标准
• 4.2.2 穿戴采集图像质量分析
• 4.2.3 穿戴采集图像择优处理策略设计
• 4.3 后验概率支持向量机的理论基础
• 4.3.1 统计学习理论
• 4.3.2 支持向量机
• 4.3.3 基于后验概率SVM 不确定性分类
• 4.4 基于PPSVM 的运动模糊图像分类研究
• 4.4.1 分类特征选择
• 4.4.2 核函数选择
• 4.4.3 后验概率估计
• 4.5 实验及结果分析
• 4.6 小结
• 5 时变场景中兴趣目标快速检测与识别
• 5.1 引言
• 5.2 基于集群学习的目标检测研究与实现
• 5.2.1 集群学习算法
• 5.2.2 基于AdaBoost 级联分类器的目标检测
• 5.2.3 目标检测在iWearSA 平台上的实现研究
• 5.2.4 视频帧检测的关键过程
• 5.2.5 室内复杂背景实验
• 5.3 道路场景中多分辨率行人人脸实时提取
• 5.3.1 问题的提出
• 5.3.2 多分辨率正面人脸检测算法
• 5.3.3 双层分类器实时人眼定位与修正
• 5.3.4 室外复杂背景人脸检测实验
• 5.4 基于人机协同识别的人脸追逃研究
• 5.4.1 技术流程
• 5.4.2 单训练样本的快速人脸识别
• 5.4.3 变光照条件实验
• 5.4.4 室内外现场实验
• 5.5 小结
• 6 总结与展望
• 6.1 本文工作总结
• 6.2 下一步研究展望
• 致谢
• 参考文献
• 附录
• 附录 A 作者在攻读学位期间发表的论文目录
• 附录 B 作者在攻读学位期间参与科研项目