排序学习损失函数的研究

论文摘要

在信息量急速膨胀的今天,信息检索技术显得尤为重要。传统的信息检索模型主要分为两类：一类为与查询相关的基于内容的方法,如基于词频统计、概率模型和语言模型等的方法；另一类是与查询独立的基于链接分析的方法,如PageRank、HITTS等算法。二类方法的核心都是对网页进行排序。排序学习的出现,使得多种检索模型的融合成为可能；训练出的新的排序模型能够有效地提高检索效果。排序学习属于信息检索与机器学习交叉领域。按照输入空间的不同,可以将排序学习方法分为三类：单文档级别(pointwise,点级)、文档对级别(pairwise,对级)与文档列表级(listwise,列表级)。损失函数是排序学习方法用于构建目标函数、优化排序模型的重要手段,其优劣将最终影响排序函数的性能。本文对排序学习方法的损失函数进行研究。首先讨论单一地运用训练样例存在的不足,并以对级方法为例,提出改进方法：通过将点级损失与对级损失函数融合,改善损失函数对训练过程中损失的表征能力,以更好地估计训练过程中真实的损失。其次,基于列表级方法,构造了一种新的损失函数,即应用查询级别的回归损失作为列表级损失函数,并用神经网络对排序函数建模,用梯度下降方法对目标函数进行求解,提出了一种新的列表级排序学习方法。最后,本文提出损失函数融合的框架,提出三种用于衡量损失函数权重的公式或融合方法,并验证该框架的可行性,对比三种权重公式的优劣,将基于三种权重公式的方法与点级、对级与列表级以及其它综合考虑训练样例的方法进行比较。为排序学习方法的研究提供了一种改进的思路。在LETOR数据集上的实验显示本文所提出的方法要优于现有的排序学习方法,从而证明了所提出方法的有效性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景
• 1.2 排序学习研究现状
• 1.3 本文主要研究内容与组织结构
• 2 排序学习相关工作
• 2.1 排序学习的一般过程
• 2.2 排序学习方法的特征
• 2.2.1 与查询相关的特征
• 2.2.2 与查询独立的特征
• 2.3 排序学习数据集构造
• 2.4 排序学习方法分类
• 2.4.1 点级排序学习方法
• 2.4.2 对级排序学习方法
• 2.4.3 列表级排序学习方法
• 2.5 评价排序函数的标准
• 2.5.1 MAP与MRR
• 2.5.2 NDCG
• 2.5.3 ERR
• 2.6 小结
• 3 一种改进的对级排序学习方法
• 3.1 引言
• 3.2 方法
• 3.2.1 RankNet算法
• 3.2.2 加入点级损失来改进RankNet算法
• 3.3 实验设置
• 3.3.1 数据集
• 3.3.2 实验设计
• 3.4 实验结果分析
• 3.5 小结
• 4 一种查询级别回归的排序学习方法
• 4.1 引言
• 4.2 方法
• 4.2.1 查询级别的回归
• 4.2.2 优化方法
• 4.3 实验设置
• 4.3.1 数据集
• 4.3.2 实验设计
• 4.4 实验结果分析
• 4.4.1 精度对比
• 4.4.2 速度对比
• 4.5 小结
• 5 多损失函数融合的排序学习方法
• 5.1 引言
• 5.2 候选损失函数及其梯度
• 5.3 多损失函数融合框架
• 5.4 实验设置
• 5.5 实验结果与分析
• 5.5.1 选取适合的损失函数
• 5.5.2 正则化权重的损失函数融合
• 5.5.3 迭代次数相关权重的损失函数融合
• 5.5.4 分段损失函数融合
• 5.5.5 三种损失函数融合方法的对比
• 5.5.6 与其它损失函数融合算法的对比
• 5.6 小结
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢