基于Web检索的查询意图分类研究

论文摘要

随着互联网和电子商务的发展,人们在学习、工作和生活上的方式上发生了重大的变化。同时,信息量急剧增长,并且更新频繁。传统信息检索技术满足了人们的一定需要,但仍然面临查准率和查全率偏低的问题。用户如何在这浩如烟海的信息中快速找到自己想要的信息已经成为互联网技术的一个非常重要的研究课题。查询的意图分析作为解决“信息过载”和“资源迷向”问题的一种有效途径,已成为在现代搜索系统领域的一个研究热点。本文着重从分类的角度对查询意图预测进行研究。本文在系统分析研究当前国内外基于查询意图分类相关文献的基础上,对查询意图分类的特点、查询表示模型及分类算法进行了深入的讨论,通过对具体的电子商务搜索引擎进行的调查研究和统计分析,并根据搜索系统的需求,综合几个维度对查询意图进行分类,提出了一套基于查询意图的分类体系,以及该体系的系统架构和各个模块的功能需求；然后在分类体系建立的基础上,提出了本文的查询自动分类框架,该框架利用精确匹配,机器学习,计算机语言学等方法的优点,将各种算法按照某种策略进行综合。最后,本文通过实验数据表明,所提出的方法在大规模的数据集上性能非常高,具有很高的准确率和召回率。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景
• 1.2 研究目的和意义
• 1.3 研究现状
• 1.3.1 查询分类体系
• 1.3.2 查询特征的提取
• 1.3.3 查询分类算法
• 1.4 本课题的研究内容及论文的组织
• 第二章 查询分类及其常用算法
• 2.1 查询分类的定义
• 2.2 查询分类任务的特点
• 2.3 数据集的构造
• 2.4 查询表示模型
• 2.4.1 查询特征
• 2.4.2 查询表示
• 2.4.3 特征选择方法
• 2.5 分类方法
• 2.5.1 基于统计的方法
• 2.5.2 基于规则的方法
• 2.6 评价方法
• 2.7 本章小结
• 第三章 查询日志分析和分类体系
• 3.1 常用分类体系
• 3.2 查询日志的分析
• 3.3 本文分类体系
• 3.4 系统架构
• 3.4.1 前端
• 3.4.2 线上查询处理
• 3.4.3 搜索引擎
• 3.4.4 日志存储
• 3.4.5 统计分析和机器学习
• 3.5 本章小结
• 第四章 查询意图的自动分类框架
• 4.1 精确匹配
• 4.2 N-GRAM匹配
• 4.3 监督机器学习
• 4.3.1 数据预处理
• 4.3.2 SVM分类
• 4.4 选择优先性
• 4.4.1 选择优先性（SP）的定义
• 4.4.2 查询的选择优先性分类
• 4.5 组合分类算法
• 4.6 本章小结
• 第五章 系统设计与测试
• 5.1 系统实验环境
• 5.1.1 数据集
• 5.1.2 开发环境
• 5.2 系统性能评价方法
• 5.3 系统结果与分析
• 5.3.1 组合算法实验
• 5.3.2 召回率和准确率的平衡
• 5.4 本章小结
• 总结与展望
• 参考文献
• 攻读硕士学位期间取得的研究成果
• 致谢