基于特征点定位的虚拟试戴的研究

论文摘要

伴随互联网和电子商务技术的快速发展,网络购物越来越受关注,网络购物不可避免的“虚幻性”特点与人们传统的“切身体验”购物理念相矛盾,促使虚拟试戴随着网购热潮应运而生,交互式虚拟试戴网购系统具有方便、友好、直观的特点,给买卖双方带来便利。一个2D自动虚拟试戴系统主要包括:目标检测、特征点定位、目标抠取、图像合成等步骤。影响虚拟试戴系统真正实用化的关键因素有:佩戴位置、佩戴者的姿态、背景光照、试戴真实性等。特征点精确定位和不同图像的无缝合成是解决以上问题的关键。针对以上问题,本文对人脸特征点定位、图像合成等进行了深入的研究,并在此基础上对相关算法做了创新性改进,完成眼镜、项链和手表的虚拟试戴。主要的创新工作内容包括:1)基于人脸特征点定位方法的改进。在研究人脸器官检测及主动形状模型(Active Shape Models,ASM)特征点定位算法之后,针对特征点定位算法存在的一些问题,对其做了一些改进,采用水平镜像方法增加训练集;改变局部纹理模型的建模方式:修改某些标注点的采样方向以更准确地反映该点的变化情况,将某些标注点的法线方向采样模式改为以该点为中心的矩形邻域采样模式,以获得更丰富的信息来描述该点;在目标搜索过程中采用多分辨率搜索策略以提高搜索效率和鲁棒性。将该算法应用于人脸特征点定位并获得精确的定位结果,为后续的虚拟试戴应用提供定位前提。2)基于单幅图像的眼镜虚拟试戴方法。在研究图像抠像和图像合成方法的基础上,提出了基于梯度域图像合成的变分模型并将其应用于眼镜的虚拟试戴,结合人脸特征点定位算法实现了自动、自然的眼镜虚拟试戴。3)基于单幅图像的项链、手表虚拟试戴系统设计方法。在眼镜虚拟试戴基础上,对眼镜虚拟试戴框架做适当修改并应用于项链、手表的虚拟试戴,合成生动逼真的项链、手表虚拟试戴效果图,完成虚拟试戴系统的设计。主要包括人脸特征点提取、手掌检测及梯度域图像合成技术。该框架可以用于其它饰品如服装、耳钉、耳环、围巾等的试穿中,也可用于影视制作等多媒体应用中。通过以上几个方面的深入研究,本文实现了人脸特征点的精确定位,并在此基础上实现了基于单幅图像的眼镜、项链和手表的虚拟试戴,解决了虚拟试戴在现实应用中的一些实时性低、成本高、真实性差等问题,取得了较好的研究成果。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 研究的背景和项目的支持
• 1.2 研究的意义
• 1.3 国内外研究状况
• 1.3.1 基于先验规则的方法
• 1.3.2 基于灰度信息的方法
• 1.3.3 基于几何形状的方法
• 1.3.4 基于统计的方法
• 1.3.5 网络电子选购系统
• 1.4 论文结构
• 第二章 人脸特征器官的定位算法
• 2.1 引言
• 2.2 基于ADABOOST的人脸检测算法
• 2.2.1 人脸Haar-like 特征提取
• 2.2.2 基于Adaboost 的分类器训练
• 2.2.3 级联分类器
• 2.3 眼睛检测
• 2.3.1 谷区域图像
• 2.3.2 瞳孔定位
• 2.4 本章小结
• 第三章 改进的人脸特征点定位算法
• 3.1 引言
• 3.2 经典ASM 算法
• 3.2.1 点分布模型（Point Distribution Model，PDM）
• 3.2.2 训练样本数据的对齐
• 3.2.3 形状模型建模
• 3.2.4 局部灰度模型建模
• 3.2.5 目标搜索
• 3.3 改进的ASM 人脸特征点定位算法
• 3.3.1 增加训练集
• 3.3.2 修改某些标注点的采样方向
• 3.3.3 2D 邻域采样
• 3.3.4 多分辨率搜索
• 3.4 改进的ASM 人脸特征点定位实验
• 3.5 本章小结
• 第四章 基于改进POISSON 方程的眼镜试戴
• 4.1 引言
• 4.2 数字抠像与图像合成技术
• 4.2.1 数字图像抠像技术
• 4.2.2 数字图像合成技术
• 4.3 基于改进POISSON方程的眼镜试戴
• 4.3.1 眼睛区域特征点检测
• 4.3.2 确定眼镜放置位置
• 4.3.3 眼镜虚拟试戴
• 4.3.4 实验结果与分析
• 4.4 本章小结
• 第五章 虚拟试戴系统
• 5.1 引言
• 5.2 饰品佩戴位置定位
• 5.2.1 项链佩戴位置定位
• 5.2.2 手表佩戴位置定位
• 5.3 图像合成
• 5.4 虚拟试戴系统实验
• 5.5 本章小结
• 第六章 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表的论文及专利申请