论文摘要
搜索引擎的广泛应用为人们充分利用Web丰富的资源提供了重要保证,然而,Web网页数量巨大以及查询的信息不容易用简短词组准确表达,导致一次搜索返回结果过多,如何有效组织这些结果对搜索引擎来说是一个巨大挑战。目前大多数搜索引擎对于用户查询,仅仅通过关键词匹配、排序,输出一个长且无层次的列表,然而这个列表往往达不到预期目标,因为用户往往需要翻阅多页才能找到期望的结果,尤其是对于多义词查询。如果能将这些检索结果根据相应的语义分类别组织在一起,将能更好的帮助用户导航浏览,提高用户的浏览效率。与传统的基于词频和统计的检索结果聚类方法不同,本文提出了一种基于维基百科知识的聚类算法,实现了对检索结果的在线高效准确聚类。该算法利用从目前最大的在线知识库—维基百科中挖掘出的词语间语义关系,聚类后形成更为紧凑的簇、描述性更强的簇标签以及层次结构更合理的树型结构。本文首先描述了一种全新的维基知识的挖掘方法。通过分析维基百科的组织结构尤其是超链接关系,结合机器学习方法、启发式规则和概率统计方法,抽象出一个覆盖面全、准确率高的维基辞典,并提出了短语间语义相似度、短语导向性等指标。该知识库在关键词抽取和文本分类上的简单应用也取得了非常显著的效果。其次,重点介绍了基于维基百科的搜索引擎检索结果聚类的基本思想,突出阐述了特征项的抽取方法和基类合并规则。在特征项抽取过程中,在短语层次上采用全二分最大长度匹配快速识别主要词汇,对同义词进行归并,对多义词根据上下文语境和语义信息的线性融合进行歧义消解。采用倒排索引的方式组织基簇,在基簇的基础上,根据簇文档之间的重叠程度、簇标签之间的上下位关系和语义相关度,采用自底向上的层次聚类算法将标签组织为层次型标签树。最后,实现了在线聚类系统Wiki-SRC,并将它与其他相关研究成果进行了比较。通过对比实验,我们发现Wiki-SRC在簇标签质量、簇覆盖率等方面都有所改进,从而证明了该算法的可行性和有效性。