检索结果聚类中的类别标签抽取技术研究

论文摘要

随着网络信息的日益膨胀,信息泛滥的状况日趋严重,而作为人们获取信息的主要手段的搜索引擎却面临着诸多新问题,如何快速地帮助用户获取特定的知识、如何引导用户并推送给用户相关信息,已然成为各个搜索引擎面临的日趋紧迫的任务。检索结果聚类能够最大限度地解决搜索引擎这一问题,提供用户引导、数据分布,其应用不仅在展现形式上,对于搜索引擎相关性排序、相关搜索等问题上均有较大帮助,对于文本数据检索、数字化图书馆管理、实体关系挖掘等领域也有非常广阔的应用前景。对于检索结果进行挖掘,生成恰当的引导性标签,辅助用户快速浏览网页内容,是检索结果聚类的主要目标。传统的聚类方法,一方面时间复杂度较高不能快速响应用户需求,另一方面不能生成高质量可读标签。本文通过对比分析传统方法的不足,结合搜索引擎快速响应的需求及用户引导高表意等方面的特定情景,提出了基于标签的排序模型,采用层次聚类的方法进行聚类,并最终抽取出代表性标签的基本方法。本文主要研究内容包括以下几方面:1、候选标签的抽取策略。在各语义信息的指导下,尽可能抽取全面而且质量好的候选标签,为后续工作提供良好的基础。2、采用排序模型对抽取标签进行排序,综合考虑资源特征、本体特征、用户行为特征、语义特征,生成聚类候选。同时对这类特征提出有针对性的资源挖掘方法。3、采用改进的层次聚类算法及多种语义资源进行类别合并,将不同维度上的各类相似标签进行合并。4、综合利用资源信息、用户行为信息指导标签的抽取,提出了一种有意义标签的抽取方法。本文最终通过多次实验验证了方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 项目背景
• 1.2 课题的研究目的和意义
• 1.3 术语定义
• 1.4 国内外研究现状
• 1.4.1 检索结果聚类研究现状
• 1.4.2 采用标签抽取方法原因
• 1.5 本课题定位及目标
• 第2章 候选标签的抽取及特征选取
• 2.1 标签抽取
• 2.2 特征选取
• 2.2.1 数据资源特征
• 2.2.2 用户行为特征
• 2.2.3 本体特征
• 2.2.4 语义特征
• 2.3 本章小结
• 第3章 标签排序、聚合与代表标签的选取
• 3.1 标签排序
• 3.1.1 基于SVM LIGHT的标签排序
• 3.1.2 实验数据组织
• 3.2 标签聚合
• 3.2.1 根据索引结果聚合的策略
• 3.2.2 自底向上的层次聚类策略
• 3.2.3 标签相似度
• 3.3 代表性标签的选取
• 3.3.1 邻接标签的粘接
• 3.3.2 互斥标签的取舍
• 3.4 本章小结
• 第4章 实验与评价
• 4.1 共性标签稳定性实验
• 4.2 与相关搜索的比较实验
• 4.2.1 高频随机短检索词比较实验
• 4.2.2 低频随机短检索词比较实验
• 4.3 短检索词查询扩展实验
• 4.4 本章小结
• 结论
• 参考文献
• 致谢