基于多视觉信息融合的驾驶员疲劳检测方法研究与实现

论文摘要

驾驶员疲劳驾驶是造成交通死亡事故的重要原因之一,驾驶疲劳检测已成为智能运输系统（ITS）研究的热点之一。本文首先对基于计算机视觉的驾驶员疲劳检测的研究现状进行了总结和分析,并提出一种基于多视觉信息融合的疲劳检测方法。该方法采用双摄像机联合定位跟踪面部,有效地提高了面部信息采集的精度,然后通过一系列的脸部特征提取和跟踪的算法实时获取眼睛、嘴部、头部运动等多种与疲劳程度相关的重要视觉特征信息;最后提出一种改进的贝叶斯算法融合多视觉信息来估计驾驶员的疲劳程度。本文研究的核心内容包括:基于双摄像机的人脸定位跟踪算法研究与实现;眼睛和嘴部特征实时检测与跟踪算法研究与实现;多种视觉疲劳特征信息提取、贝叶斯多信息融合等算法的实现与改进。首先提出了一种基于双摄像机的人脸定位跟踪算法。本文通过两个摄像机实时地采集驾驶员视频图像,其中固定摄像机A用于拍摄驾驶员上半身,可控摄像机B用于跟踪拍摄驾驶员面部,并提出了一种基于肤色区域分割与人脸验证相结合的人脸初步定位方法和基于CAM Shift跟踪与人脸验证相结合的跟踪方法从摄像机A采集的图像中快速定位和跟踪脸部位置。系统根据摄像机A中定位的脸部位置信息,通过串口发送云台控制指令控制高速可控摄像机B实时转动,跟踪拍摄驾驶员头部。实验结果显示基于双摄像机的人脸定位跟踪算法相比单摄像机算法可以有效地提高脸部图像的采集精度,获得大分辨率的脸部图像,以便更精确地提取脸部疲劳特征信息。同时系统还可以在对摄像机A所得视频的处理过程中获取驾驶员的头部运动信息。除了获取头部运动信息,还改进和提出了一系列眼睛及嘴部特征实时检测与跟踪的算法,提取从摄像机B所得视频中实时地采集驾驶员的眼睛和嘴部状态信息作为疲劳程度估计的主要特征。本文提出了一种改进的粒子滤波人眼定位及跟踪方法,首先采用了基于Haar-Like特征级联分类器的检测方法,在人脸区域内按照不同尺度搜索存在的眼睛,然后通过检测到的眼睛位置初始化粒子滤波算法。为了提高算法的准确性,减小环境噪声和干扰的影响,本文提出了一种一阶滤波算法来对跟踪结果进行再次滤波修正,并根据人脸的位置信息和眼睛定位的历史信息来判断眼睛是否跟踪丢失。若跟踪丢失则采用Haar-Like特征级联分类器重新检测眼睛位置。嘴部定位采用三停五眼的方法。此方法简单,效率较高。其原理是根据眼睛的位置及大小确定嘴部的相对位置。本文选取了多种视觉特征作为疲劳估计特征,包括眼睛闭合程度、眨眼频率、打哈欠频率和点头频率。本文分析了相关的视觉疲劳特征计算方法,并提出一种判断眼睛及嘴部开合状态的新方法。其原理是根据眼睛或嘴部的外接矩形宽高比及面积判断眼睛及嘴部状态。与以往的算法相比该方法可以更精确地表示眼睛及嘴部的状态。该方法是获得眼睛闭合程度、眨眼频率、打哈欠频率的基础算法。点头频率特征是通过跟踪头部运动获得的。最后,采用贝叶斯算法对以上疲劳特征进行融合,计算驾驶员疲劳程度。由于动态贝叶斯网络中转移概率较难获取,本文提出一种概率更新的方法实现了对疲劳特征的动态贝叶斯融合,并在室内环境对算法进行仿真测试,取得了良好的实验结果。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 引言
• 1.2 疲劳驾驶研究现状
• 1.2.1 基于计算机视觉的方法
• 1.2.2 多种信息融合的方法
• 1.2.3 小结
• 1.3 主要研究内容和结构安排
• 1.3.1 主要研究内容
• 1.3.2 论文结构安排
• 第2章 总体构架
• 2.1 引言
• 2.2 硬件结构
• 2.3 软件流程
• 2.4 本章小结
• 第3章 人脸定位
• 3.1 引言
• 3.2 人脸检测
• 3.2.1 肤色区域分割与人脸验证的方法
• 3.2.2 基于启发式模型的方法
• 3.2.3 基于统计模型的方法
• 3.3 人脸检测的实现
• 3.3.1 肤色提取
• 3.3.2 基于先验知识的人脸区域绑定
• 3.4 CAM Shift原理
• 3.4.1 颜色空间选择
• 3.4.2 反向投影
• 3.4.3 MeanShift算法
• 3.4.4 Cam Shift 运算
• 3.5 基于CAM Shift的人脸跟踪
• 3.6 双摄像机协作
• 3.6.1 P协议
• 3.6.2 双摄像机协作的实现
• 3.7 本章小结
• 第4章 眼睛、嘴部定位
• 4.1 引言
• 4.2 眼睛检测的方法
• 4.2.1 Haar-Like特征
• 4.2.2 积分图像
• 4.2.3 Haar-Like特征分类器
• 4.3 眼睛跟踪
• 4.3.1 一阶预测算法
• 4.3.2 卡尔曼滤波
• 4.3.3 粒子滤波
• 4.3.4 基于均值偏移理论的粒子滤波
• 4.4 眼睛及嘴部定位
• 4.4.1 “参考白”算法
• 4.4.2 眼睛定位
• 4.4.3 嘴部定位
• 4.5 本章小结
• 第5章 疲劳信息提取
• 5.1 引言
• 5.2 眼部疲劳信息提取
• 5.2.1 PERCLOS信息提取
• 5.2.2 BlinkFreq信息提取
• 5.3 嘴部及头部疲劳信息提取
• 5.3.1 YawnFreq信息提取
• 5.3.2 NodFreq信息提取
• 5.4 外接矩形宽高比的归一化
• 5.5 本章小结
• 第6章 疲劳程度计算及实验结果分析
• 6.1 引言
• 6.2 基于贝叶斯的疲劳信息融合
• 6.2.1 动态贝叶斯网络的数据融合理论
• 6.2.2 贝叶斯网络的拓补结构
• 6.2.3 贝叶斯网络的参数获取
• 6.3 疲劳检测实验结果及分析
• 6.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间所发表的学术论文
• 致谢