WEB日志和子空间聚类挖掘算法研究

论文摘要

数据挖掘是指从数据中寻找正确的、有趣的、潜在有用的并最终可以理解的模式。随着信息技术在各个领域的普及,在各种应用中每天都有海量的数据被产生和收集,特别是在WEB应用、自然科学、电子商务等生产生活相关的应用领域中产生了大量复杂的数据集,如何帮助用户快速有效地从这些数据集中获取知识是一个迫切需要解决的问题。因此,根据实际应用的需要和不同领域数据的特点,构造有效的海量和高维数据挖掘算法有着非常重要的理论和实际意义。在基于WEB日志的查询词翻译方面,在分析用户和搜索引擎进行交互生成的WEB日志的特点的基础上,利用WEB日志作为查询词翻译的语料库。基于WEB日志的查询词翻译挖掘的框架MTQC充分利用双语言URL的对应关系以及URL和查询词的关联关系,分两步完成挖掘:首先识别双语言的URL对,然后匹配查询词翻译对。挖掘算法MTQC-1和MTQC-2建立在这个框架之上,算法具有一些优良的性质:能够找到一些字典中没有出现的词的翻译;能够提取与目标语言的翻译语义相关的查询词,有助于跨语言信息检索;不需要下载网页;直接从WEB日志中找出查询词的翻译,不需要分词和识别短语边界,减少了识别错误导致翻译错误的风险,简化了翻译的过程;能够及时地反映最新、最流行的查询词,避免多义词的选择。在大规模、真实的WEB日志上进行实验,结果表明与流行的查询词翻译方法相比,MTQC-1和MTQC-2在翻译字典中不存在的查询词和常见的查询词方面具有优越性。在基于样式相似性的最大子空间聚类方面,传统子空间聚类算法不能挖掘基于样式相似性的聚类,且已有的基于样式相似性的聚类算法多存在不足之处。基于样式相似性的最大子空间聚类算法EMaPle是一种新的挖掘同时满足一致性约束、大小约束和符号约束的算法。它结合基因表达数据的特点,选择仅在规模较小的属性空间上计算MDSc,采用全局修剪规则修剪生成的MDSc,在对修剪后的MDSc产生的前缀树上进行深度优先遍历的同时,运用局部的修剪规则对属性和子树进行修剪。在真实和人造数据集上进行实验,结果表明EMaPle的性能大大优于经典算法MaPle。在子空间Skyline聚类方面,强调在高维空间的任意子空间上更好地组织Skyline查询的结果,增加结果集的可控性,提高用户的决策效率。在分析高维数据空间的子空间Skyline查询存在的困难的基础上,设计一种新颖而紧凑的结构—子空间Skyline簇,通过在Skyline查询中引入聚类算法,巧妙地结合子空间Skyline查询的优点和聚类技术各自的优点。在一般的Skyline查询算法中有几点要求,即渐进性、正确性、高效性、公正性、用户友好性和可扩展性。基于排序的子空间Skyline聚类算法SSSCM和基于阈值的子空间Skyline聚类算法TSSCM利用最近邻居点以及排序对Skyline查询的作用,并且受到top-k查询算法的启发,满足Skyline查询的这几点要求。在两个真实数据集和两个模拟数据集上进行实验,结果表明这两种算法能够高效地返回结果,TSSCM算法的性能更优。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 研究内容
• 1.4 论文组织结构
• 2 基于WEB 日志的查询词翻译挖掘
• 2.1 引言
• 2.2 相关研究工作
• 2.3 算法设计思想
• 2.4 基于WEB 日志的查询词翻译挖掘算法
• 2.5 算法实验分析
• 2.6 小结
• 3 基于样式相似性的最大子空间聚类
• 3.1 引言
• 3.2 相关研究工作
• 3.3 算法设计思想
• 3.4 基于样式相似性的最大子空间聚类算法
• 3.5 算法实验分析
• 3.6 小结
• 4 子空间Skyline 聚类
• 4.1 引言
• 4.2 相关研究工作
• 4.3 算法设计思想
• 4.4 子空间Skyline 聚类算法
• 4.5 算法实验分析
• 4.6 小结
• 5 总结与展望
• 5.1 工作总结及创新
• 5.2 研究展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表的学术论文目录