信息自适应过滤的效用指标优化方法

论文摘要

TREC(Text Retrieval Conference)是信息检索领域中最重要的国际会议,文本过滤是TREC的重要任务之一,自适应过滤是过滤任务的最重要的子任务。对TREC指标函数的优化是一个包括优化时机、优化策略、优化幅度等因素的复杂的过程,是自适应过滤中非常重要的研究方向。利用极大似然估计法(记为ML)对评测指标进行优化在TREC9中取得了第一名的成绩。ML是一种全局优化的方法,它对文档得分(相似度)分布参数估计偏差最小,能够较精确的反映语料集的整体特征。但是ML是一种全局性的方法,它对语料库的局部(每一反馈区间)特征反应“不敏感”,尤其是到了过滤中后期由于过滤的累积效应,ML对阈值的调整有滞后作用,这样就降低了过滤系统的性能。 本文主要解决的是ML方法对语料库局部反应“不敏感”的问题,在ML方法的基础上对TREC效用指标函数再进行局部优化,本文把这种方法叫做基于极大似然估计法的局部优化方法(记为MMLOR)。MMLOR不是对ML方法和局部优化方法简单的相加,它是一个复杂的逐步迭代的过程。MMLOR方法以ML方法为主线,又根据每一反馈区间对TREC效用指标函数的增益情况对阈值进行局部优化,从而增加过滤系统对局部的敏感度。因此,MMLOR方法不仅可以反应语料库的整体分布特征,还可以反应出语料库的局部特征,对效用指标函数起到全面优化的作用。 本文在相同的过滤环境下对MMOLOR.、ML、局部优化的方法的进行了比较,实验结果表明采用MMLOR方法对TREC效用指标函数进行优化的效果最好,从而证明了MMLOR优化方法比ML和局部优化方法更合理、更有效。

论文目录

• 摘要
• Abstract
• 引言
• 1 绪论
• 1.1 论文背景
• 1.1.1 信息过滤是海量信息的需要
• 1.1.2 信息过滤是保障信息安全需要
• 1.1.3 过滤技术的重要意义
• 1.2 文本过滤的研究现状
• 1.2.1 文木过滤发展概述
• 1.2.2 文本过滤的任务描述
• 1.2.3 文本过滤的与文本检索的关系
• 1.3 向量空间模型简介
• 1.3.1 VSM的几个基本概念
• 1.3.2 VSM的相似度的计算
• 1.3.3 VSM的优缺点
• 1.4 文本过滤常用方法及逻辑模型
• 1.5 论文的组织结构
• 2 TREC及自适应过滤
• 2.1 TREC简介
• 2.1.1 TREC的数据集
• 2.1.2 THU实验研究中的主要技术
• 2.1.3 TREC算法评价
• 2.2 自适应过滤
• 2.2.1 自适应过滤的任务描述
• 2.2.2 自适应过滤的系统结构
• 2.2.3 自适应过滤的评估
• 2.3 自适应过滤中的目标优化技术比较
• 2.3.1 Direct Utility方法
• 2.3.2 Beta-Gamma方法
• 2.3.3 Logistic Regression方法
• 2.3.4 Score Distribution方法
• 2.3.5 启发式的阈值调整算法
• 2.3.6 贪心搜索算法（Greedy Search）
• 2.3.7 优化算法的比较和评价
• 3 基于极大似然估计法的自适应过滤效用指标局部优化方法
• 3.1 相似度分布模型
• 3.2 基于极大似然估计法的自适应过滤效用指标局部优化方法
• 3.2.1 KUN参数分布算法中存在的问题
• 3.2.2 相似度分布参数的极大似然估计法
• 3.2.3 利用共扼梯度下降法对参数进行估计
• 3.2.4 TREC中极大似然法的使用
• 3.2.5 局部效用指标的优化技术
• 3.2.6 基于极大似然估计法的局部效用指标优化方法
• 4 MMLOR自适应过滤系统试验设计及结果分析
• 4.1 语料库及特征提取
• 4.1.1 语料库及说明
• 4.1.2 分词的实施
• 4.1.3 特征提取
• 4.1.4 特征项权重的计算
• 4.1.5 文本的存储方法和压缩
• 4.2 Rocchio算法
• 4.3 MMLOR自适应过滤系统的体系结构
• 4.3.1 过滤系统的体系结构
• 4.3.2 MMLOR方法在过滤中对阈值调整的示意图
• 4.4 MMLOR方法算法复杂度分析
• 4.5 实验结果分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢
• 大连理工大学学位论文版权使用授权书