图像和视频文字检测技术研究

论文摘要

图像和视频中的文字是一种包含丰富信息的对象,对于视频内容分析、检索,图片内容理解等研究领域有重要作用。不同于其他典型模式（如单个汉字字符模式、人脸模式等）,成行的文字在大小、灰度、形状、颜色等属性上具有很强的不一致性,在很多情况下文字还处于复杂的背景中,这给文字的检测和识别带来了巨大的困难。而且传统的使用机器学习方法直接检测图像块模式的方法不适合于文字检测问题。因此,本文基于由粗到精的检测思想,提出了适用于几种典型文字（（1）视频叠加文字,（2）自然场景图像中的文字,（3）单个数字字符）的一个通用检测框架,在文字检测过程中,我们总是依赖于最可靠的特征进行文字粗定位,然后融合其他特征对候选文字进行验证。这样既提高了检测速度,又能够保证高的检测精度。在三种具体样例上,详细的分析了由粗到精的思想对于文字检测的有效性和重要性。在本文的总结和扩展中,讨论了将由粗到精的检测方法推广到检测图像中的其他纹理对象的可行性。对于视频帧中的叠加文字,作者使用了多尺度的小波特征进行检测。在这个研究中,我们着重研究了如何融合、选择有效的底层特征用于区分文字行和非文字行模式。首先,在文字行的粗定位程序中使用了小波能量特征和全局直方图分析的阈值确定方法检测候选文字象素,然后提出了一种“基于密度”的区域增长方法将离散的像素连接成为候选文字区域。对于检测到的候选文字区域,使用结构特征分割为单个的文字行。在精确分类过程中,融合了三种纹理特征和一种结构特征来表达文字行模式,使用了前向特征选择算法进行了融合特征的筛选。最后,基于选择的纹理特征,使用了支持向量机（SVM）方法分类文字行和非文字行模式。实验表明,算法能够快速,鲁棒的检测视频叠加文字。视频文字的背景往往是复杂的,基于图像灰度信息的OCR软件不能取得好的识别效果。为此,作者提出了一种从复杂背景中分割文字前景的算法。在此方法中,作者基于Canny边缘检测结果提出了一种采样规则,并且使用混合高斯模型（GMMs）对于采样像素在色度-亮度二维特征空间内建立颜色模型,然后使用颜色模型准确地检测所有前景像素。这种先采样后检测的方法,使得文字分割完全自动并且具有很好的效果。对于自然场景图像中的文字,在由粗到精的检测框架内,作者融合了颜色、小波直方图、OCR识别结果统计特征。并且研究了如何从复杂的图像中分割和定位文字行模式和对于发生了仿射形变的文字行进行恢复的方法。在此过程中,对图像分割技术、区域布局分析技术在文字行定位过程中的作用进行了深入的研究。对本文提出的由粗定位到精分类的检测框架进行了深化和验证。对于仿射形变文字行的恢复,利用了平面间的Homography运算,不需要任何摄像机参数。最后,作者研究了一种更为难于检测的文字模式——具有非刚体形变的字符（运动衫号码）。在这种字符的检测中,主要的困难来源于文字的扭曲变形,这种变形是非刚体

论文目录

• 摘要
• Research on text detection in images and video frames
• 图目录
• 表目录
• 第一章 引言
• 1.1 文字检测研究的意义
• 1.1.1 对于图像和视频内容分析的意义
• 1.1.2 对于自然场景内容理解的意义
• 1.1.3 作为一种典型模式进行研究的意义
• 1.2 文字检测和识别问题分析
• 1.2.1 文字检测问题阐述
• 1.2.2 文字模式分析
• 1.2.3 文字识别问题分析
• 1.3 本文理论背景
• 1.3.1 对象检测技术分析
• 1.3.2 小波图片分解
• 1.3.3 支持向量机分类
• 1.3.4 广义向量量化
• 1.4 相关研究概述
• 1.4.1 基于边缘（梯度）特征的文字检测
• 1.4.2 基于连接成分或者颜色分析的文字检测
• 1.4.3 基于纹理特征的文字检测
• 1.4.4 利用视频时间域特征进行文字检测
• 1.4.5 自然场景中形变文字的恢复
• 1.5 本文的主要工作和贡献
• 1.6 论文的组织
• 第二章 视频帧中的文字检测算法
• 2.1 引言
• 2.2 文字行粗定位
• 2.2.1 多尺度的小波分解
• 2.2.2 候选文字像素检测
• 2.2.3 基于密度的区域增长
• 2.2.4 候选文字区域分割为文字行
• 2.3 文字行精确分类
• 2.3.1 特征提取
• 2.3.2 特征选择
• 2.3.3 训练和分类
• 2.3.4 多尺度（方向）检测结果合并
• 2.4 实验结果
• 2.5 本章小结
• 第三章 复杂背景中文字分割算法
• 3.1 引言
• 3.2 无监督的文字分割方法
• 3.2.1 基于规则采样
• 3.2.2 文字像素颜色模型
• 3.2.3 融合颜色信息和空间连接性的文字分割
• 3.2.4 基于连接成份分析的后处理
• 3.3 实验分析
• 3.4 本章小结
• 第四章 自然场景中的文字检测方法
• 4.1 介绍
• 4.2 文字检测
• 4.2.1 候选文字区域定位
• 4.2.2 区域布局分析
• 4.2.3 文字/非文字分类
• 4.2.4 基于OCR 的识别和反馈
• 4.3 文字恢复
• 4.3.1 文字是否发生仿射形变的判断
• 4.3.2 基于Homography 的文字恢复
• 4.4 实验分析
• TEXT_DETECTION_DATASET（JTDD））'>4.4.1 实验数据集合（JDL_TEXT_DETECTION_DATASET（JTDD））
• 4.4.2 试验结果分析
• 4.4.3 试验对比
• 4.5 本章小结
• 第五章 具有非刚体形变的字符检测方法
• 5.1 介绍
• 5.2 运动衫号码区域分割
• 5.2.1 形成初始分割区域
• 5.2.2 区域合并
• 5.2.3 终止区域合并的规则
• 5.2.4 分割算法描述
• 5.3 候选定位
• 5.4 形变字符特征提取和识别
• 5.4.1 字符特征提取
• 5.4.2 通过生成虚拟样本建立字符识别模型
• 5.5 号码跟踪
• 5.6 实验结果
• 5.7 本章小结
• 第六章 方法总结和扩展
• 6.1 方法总结和扩展
• 6.1.1 方法总结
• 6.1.2 方法扩展
• 6.2 实验分析
• 6.3 本章小结
• 第七章 结论
• 7.1 本文取得的研究成果
• 7.2 未来的研究方向
• 参考文献
• 致谢
• 作者简历