Web图像检索中并行聚类技术研究

论文摘要

随着网络带宽的增长和图像技术的发展,Web上图像资源变得越来越丰富,形成一个海量的图像资源库。Web图像检索致力于解决从这个海量的图像资源库中,帮助用户快速地、准确地检索到所需要的图像信息。在Web图像检索系统中,为了减少对所需要图像的查询时间,为用户提供快速且有效的检索服务,采用数据挖掘领域中的聚类技术来对网络上的图像进行聚合归类,建立图像索引。然而,Web图像检索所面对的是大规模的网络图像数据,现有的大量聚类算法在处理大规模数据时效率较低,不能满足Web图像检索中对网络图像进行聚类的效率要求。根据EMD相似度匹配算法,在动态自适应图像聚类算法的基础上,提出了并行层次化自适应图像聚类算法,克服动态自适应图像聚类算法效率下降的缺点,充分利用动态自适应图像聚类算法适合对网络图像进行动态聚类的优点,即聚类过程不依赖聚类中心点和聚类个数以及聚类层数。动态自适应图像聚类算法最大的缺点在于,算法复杂度为O(MN),即在已得聚类的规模M保持稳定时,随着图像数据规模N的增大,算法花费的时间会线性增长。影响图像聚类性能的因素有两个,即I/O时间和EMD匹配时间。在并行层次化自适应图像聚类算法中,使用全局EMD匹配方式整合了聚类过程,有利于动态自适应聚类算法的并行化实现;采用内存方式减少I/O时间。在聚类的并行化实现中,采用数据并行使各个结点并行进行EMD相似性匹配,减少串行聚类中的EMD匹配时间;采用消息机制使各个结点上的聚类信息保持一致,并在主结点上进行结果的合并,保证了合并后结果的有效性。通过对系统的性能测试,应用并行层次化自适应图像聚类算法,提高了图像聚类的效率。通过与串行图像聚类进行对比,可以获得较好的加速比。采用5,10,20个结点进行并行图像聚类,加速比分别为3.5,7.5,16。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景与意义
• 1.2 图像检索系统现状
• 1.3 聚类算法现状
• 1.4 并行聚类算法研究现状
• 1.5 本文结构与内容
• 2 系统框架设计和模块分析
• 2.1 系统需求分析
• 2.2 WEB 图像搜索系统总体框架
• 2.2 图像搜索系统的并行系统设计
• 2.3 并行网页解析及网络爬虫模块
• 2.4 并行特征向量提取模块
• 2.5 并行图像聚类模块
• 2.6 本章小结
• 3 基于视觉特征的图像聚类方法研究
• 3.1 图像检索中的特征提取方法介绍
• 3.2 测量图像相似性的方法——EMD
• 3.3 串行的动态自适应聚类算法简介
• 3.4 对串行自适应聚类算法的改进
• 3.5 实验结果与分析
• 3.6 本章小结
• 4 并行图像聚类的实现技术
• 4.1 并行图像聚类中的几个问题
• 4.2 解决方案
• 4.3 并行图像聚类中并行策略
• 4.4 集群系统结构对并行图像聚类算法的影响
• 4.5 并行图像聚类中的消息机制实现
• 4.6 并行图像聚类效率分析
• 4.7 实验结果与分析
• 4.8 本章小结
• 5 系统测试与分析
• 5.1 并行算法性能评价标准
• 5.2 测试环境
• 5.3 并行聚类与串行聚类的对比测试平台
• 5.4 性能测试及分析
• 5.5 本章小结
• 6 总结与展望
• 致谢
• 参考文献