视频文本的提取

论文摘要

视频中的文本能够给视频检索和索引提供重要的辅助信息,有时视频中的文本包含了其它地方没有的信息,例如电影片头的字幕,有时,视频中的文本是一种重要而简洁的辅助信息,例如体育比赛中的得分股票价格。如果视频中的文本能够被有效地提取和识别,那么许多高层次的应用,例如视频摘要,就可以更好地实现。 论文对视频文本提取的几个方面,包括文本定位、文本跟踪、文本增强和文本分割进行了研究。与文档图像相比较,视频中的文本提取由于其较低的分辨率、复杂的背景、照明的变化、和位置、形状与颜色的不确定而具有很大的挑战性。 本文采用了一种压缩域与空域相结合的文本行定位方法,文本区域使用DCT块的纹理能量直接在DCT域检测,文本行根据文本区域差分图像的水平投影轮廓线来提取。 提出了一种基于M估计模板匹配的文本跟踪方法,匹配模板用LLT（Logical Level Technique）对文本区域进行粗分割得到,搜索窗口位置用MPEG-2比特流中的运动向量来估计,模板匹配的加速采用基于优胜者更新的多分辨率方法。 一种多帧融合的增强方法被用来提高文本与背景的对比度,论文根据文本区域中每个象素在时间域上的强度分布决定采用多帧平均方法还是采用多帧最小或多帧最大方法来增强文本区域。 提出了一种基于彩色笔画模型的文本分割算法,彩色笔画模型描述了字符在彩色空间的局部地形学特征,文本分割算法由文本区域二值化和连通区域二部分组成。

论文目录

• 第一章 绪论
• 1.1 引言
• 1.2 视频文本提取技术的研究概况
• 1.3 视频中文本的类型
• 1.3 视频中文本的特征
• 1.4 文本提取系统的组成
• 1.5 本文研究的内容和结构
• 第二章 文本提取技术文献综述
• 2.1 文本检测
• 2.1.1 文本检测技术总结
• 2.2 文本定位
• 2.2.1 基于区域的方法
• 2.2.2 基于边缘和梯度的方法
• 2.2.3 基于纹理的方法
• 2.2.4 基于学习的方法
• 2.2.5 压缩域方法
• 2.2.6 时空方法
• 2.2.7 基于字符形状特征的方法
• 2.2.8 文本定位技术总结
• 2.2.8.1 文本特征选择
• 2.2.8.2 文本特征提取
• 2.2.8.3 文本特征聚集形成区域
• 2.2.8.4 候选文本区域提取
• 2.2.8.4 文本区域验证
• 2.2.8.5 各种文本定位方法的优缺点
• 2.3 视频文本的跟踪
• 2.3.1 视频文本跟踪技术总结
• 2.4 文本增强
• 2.4.1 文本增强技术总结
• 2.5 文本分割
• 2.5.1 文本分割技术总结
• 第三章 基于压缩域纹理能量与空域边缘特征的视频文本定位
• 3.1 引言
• 3.2 压缩域文本区域定位
• 3.2.1 纹理能量计算
• 3.2.2 阈值方法的选择
• 3.2.3 纹理图像二值化
• 3.2.4 文本区域提取
• 3.3 文本行与文本列定位
• 3.4 文本行与文本列验证
• 3.5 试验结果与分析
• 3.6 小结
• 第四章 基于M估计模板匹配的视频文本跟踪
• 4.1 引言
• 4.2 文本跟踪与文本定位的结构
• 4.3 文本跟踪算法
• 4.4 搜索窗口的确定
• 4.4.1 用视频参数确定搜索窗口大小
• 4.4.2 用 MPEG-2比特流中的运动向量来估计搜索窗口的中心位置
• 4.4.3 用文本块的运动向量来估计搜索窗口的中心位置
• 4.5 基于M估计的模板匹配
• 4.5.1 基于M估计的误差测度
• 4.5.2 文本模板提取
• 4.5.2.1 正常与反转文本的自动区分
• 4.5.3 文本边界的确定
• 4.6 快速模板匹配算法
• 4.6.1 多分辨率匹配方法
• 4.6.2 优胜者更新策略
• 4.7 实验结果与分析
• 4.8 本章小结
• 第五章 基于多帧信息的视频文本增强
• 5.1 视频文本增强算法
• 5.2 视频文本增强算法的具体步骤
• 5.3 实验结果
• 5.4 本章小结
• 第六章 基于彩色笔画特征的文本分割
• 6.1 引言
• 6.2 笔画的特征
• 6.2.1 二值图像中笔画的特征
• 6.2.2 灰度图像中线状对象的特征
• 6.2.3 彩色图像字符笔画特征
• 6.3 字符比背景亮或字符比背景暗的各种笔画特征模型
• 6.4 笔画特征图像的二值化
• 6.5 连通区域分析
• 6.5.1 连通区域尺寸和位置的分析
• 6.5.2 连通区域颜色分析
• 6.5.4 字符种子块的提取
• 6.5.5 字符的提取
• 6.5.6 垂直排列文本字符的提取
• 6.6 实验结果与讨论
• 6.7 本章小结
• 第七章 总结与展望
• 7.1 全文总结
• 7.2 工作展望
• 参考文献
• 作者攻读博士学位期间发表、录用及已投稿的论文
• 致谢