基于概率的潜在语义分析模型在搜索引擎商业文本分类系统中的应用研究

论文摘要

就搜索引擎的盈利性来说,搜索引擎投放的商业广告是否与用户的搜索意图相关十分重要。传统的文本分类方法在搜索引擎的商业文本分类系统中解决了一部分问题,但是,语义的抽象性、多义性、同义性等特征是普遍存在的现象,如何定义和计算语义、怎样与上下文结合分析语义,仍然是搜索引擎目前面临的主要问题。本文针对搜索引擎的商业需求,利用近年来学术界提出的“潜在概率语义分析”(Probability Latent Semantic Analysis, PLSA)技术,以软件工程的思想为指导,设计并实现了搜索引擎商业文本分类系统中的潜在概率语义计算模块。最后,按照商业搜索引擎的业务要求,本文作者采用相关标准对本模块进行了测试,证明了它的有效性和实用性。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 目录
• 1. 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 研究意义
• 1.4 论文的研究方法
• 1.5 论文的组织结构
• 2. 业务需求分析
• 2.1 角色行为分析
• 2.1.1 搜索用户行为分析
• 2.1.2 广告客户行为分析
• 2.1.3 搜索引擎公司行为分析
• 2.2 业务需求目标定位
• 2.3 资源结构分析
• 2.3.1 务资源结构
• 2.3.2 系统资源结构
• 2.4 务风险分析及应对策略
• 3. 文本分类理论概述
• 3.1 文本分类的基本概念
• 3.2 文本的训练样本集
• 3.3 文本的表示模型
• 3.4 文本的特征选择
• 3.4.1 信息增益法（Information Gain）
• 3.4.2 信息法（Mutual Information,MI）
• 2统计量'>3.4.3 χ²统计量
• 3.5 文本分类器的设计
• 3.5.1 中心向量法
• 3.5.2 朴素贝叶斯分类法
• 3.5.3 KNN（K最近邻居）算法
• 3.5.4 基于投票的方法
• 3.5.5 支持向量机（SVM）
• 3.6 文本分类器评估方法
• 4. 系统关键技术及解决方案
• 4.1 潜在语义分析模型
• 4.2 潜在概率语义分析模型
• 4.2.1 潜在概率语义模型概述
• 4.2.2 模型主题的设定及其语义表达
• 5. 潜在概率语义模型的设计与实现
• 5.1 模型总体设计
• 5.1.1 训练层
• 5.1.2 应用层
• 5.1.3 输出层
• 5.2 模型功能模块设计
• 5.2.1 文本预处理模块
• 5.2.2 词频统计模块
• 5.2.3 迭代计算模块
• 5.2.4 字典压缩模块
• 5.2.5 相关度计算模块
• 5.3 数据结构设计
• 5.4 接口设计
• 5.5 异常处理设计
• 6. 测试与结果分析
• 6.1 测试标准
• 6.1.1 相关性评分机制
• 6.1.2 人员评分保障机制
• 6.1.3 评估样本抽样机制及跟踪机制
• 6.1.4 绝对指标衡量机制
• 6.2 测试平台
• 6.3 测试结果分析
• 6.3.1 相关性评估数据分布对比
• 6.3.2 点击率和展现率数据对比分析
• 7. 总结与展望
• 7.1 总结
• 7.2 展望
• 8. 参考文献
• 9. 附录
• 索引
• 作者简历
• 学位论文数据集