基于Query分析的中心词与需求词搭配关系的自动挖掘

论文摘要

Web日志数据挖掘技术是一种广泛运用于互联网的技术。其目的是从互联网海量日志数据中挖掘有意义、有价值的数据和信息,从而指导搜索引擎更好的满足人们的查询需求。当前web搜索引擎对以自然语言形式提出的查询语句query分析重视不够,主要体现在对语句分词后不加区分地将所有分词结果作为检索单位,送入检索系统。由于检索前端语言分析对用户信息需求把握不准,后台各种复杂处理流程就成了无源之水,无本之木。本论文将着眼于对用户query这一表述用户特定信息需求的独特语言现象进行分析,为检索系统提供一个良好的前端处理。如：用户输入“手机”就有可能隐含着有对“价格”的需求。其中“手机”就是用户查询query中的中心词,而“价格”可以作为用户查询的中心词对应的需求词。分析query中的中心词和表征用户需求的词语之间的搭配关系,可以建立词与词之间的关系网络,能用于query意图判断,query扩展等方面,能更好的指导索引来满足用户搜索的需求。本文利用web数据挖掘技术提出了一种从大规模日志中挖掘query中的中心词与其对应的需求词的搭配关系的方法。首先利用制定的规则模板按不同中心词类别(如商品类,软件类),提取出不同类别对应的整体候选需求词,然后按照词聚类方法得到每个中心词与其对应的需求词列表,最后按照统计及搭配的方法对需求词进行过滤,最终得到中心词与需求词的对应关系。系统结果显示中心词与需求词搭配关系的正确率达到了90%左右,此方法具有实用的价值。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 课题的研究现状
• 1.3 论文的主要研究内容
• 1.4 论文结构
• 第2章 信息检索系统与web日志挖掘
• 2.1 信息检索系统
• 2.1.1 检索模型
• 2.1.2 反馈优化
• 2.1.3 词语失配的解决
• 2.2 Web日志挖掘
• 2.2.1 日志记录的内容
• 2.2.2 日志的预处理过程
• 第3章 词聚类与搭配关系识别
• 3.1 词聚类方法
• 3.1.1 聚类流程
• 3.1.2 词的表示方法
• 3.1.3 特征需求词权重的选择
• 3.1.4 聚类方法
• 3.1.5 聚类评价方法
• 3.2 搭配关系的识别
• 3.2.1 搭配的概述
• 3.2.2 搭配的定义
• 3.2.3 搭配的识别方法
• 第4章 需求词的自动挖掘
• 4.1 数据选取
• 4.2 利用规则模版对待定需求词进行挖掘
• 4.3 对中心词进行聚类
• 4.4 挖掘中心词对应的需求词列表
• 4.5 中心词与需求词自动挖掘的整体流程图
• 第5章 实验与分析
• 5.1 实验待评价阶段
• 5.2 实验环境搭建
• 5.3 实验数据
• 5.4 实验设计
• 5.5 实验结果与分析
• 第6章 结论与展望
• 参考文献
• 致谢