个性化论文推送系统的研究与实现

论文摘要

目前,作为学术出版和科学信息交流的全新模式,在线论文发布平台已经引起人们越来越多的关注。在传统的平台中只是简单的对信息进行罗列,因此会出现评议专家人员数量少,评议意见质量低的现象致使在线论文质量无法得到提高。由于专家人员的信息需求倾向会在相当长一段时间内围绕一个主题基本保持不变,因此可以根据专家的研究方向,将其研究领域内的信息主动提供给他们,并且尽量屏蔽那些不相关信息。本文针对在线论文平台——“中国科技论文在线”,设计并实现了一个个性化论文推送系统。该系统对每个专家的研究领域建模,利用文本分类的原理将新发布的论文准确推送给相应专家。首先设计并实现了论文信息搜集模块,它主要负责对Web论文库进行爬取,从而高效的获取专家研究领域的相关论文信息以及新发布论文信息。接着讨论了核心模块——文本分类系统,它在改进特征抽取算法的基础上,实现了向量空间模型、朴素贝叶斯模型,以此对专家的兴趣进行描述。在特征抽取中对常用的特征权重计算互信息方法分析后,提出了新的计算方法,该计算方法综合考虑了频度、分散度和集中度三项指标,使得选出的特征项被整体优化。实验结果表明,贝叶斯模型比向量空间模型更好地表达了用户的兴趣和变化。基于改进后的互信息特征抽取,两个模型在召回率、准确率、F1测试值方面都有一定程度的提高。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 在线论文推送系统背景
• 1.2 在线论文推送系统概述
• 1.3 研究现状
• 1.4 本文主要工作
• 1.5 本文的组织结构
• 第二章 个性化在线论文推送系统的设计
• 2.1 系统必要性分析
• 2.2 系统目标
• 2.3 系统总体功能设计
• 2.3.1 专家数据收集
• 2.3.2 元数据整合
• 2.3.3 论文的预处理
• 2.3.4 论文数据建模及分类
• 2.3.5 论文推送
• 2.4 总体功能逻辑设计图
• 2.5 总体流程图
• 第三章 论文搜集系统
• 3.1 系统功能及架构
• 3.2 网络爬虫模块
• 3.2.1 网络爬虫系统的实现原理
• 3.2.2 网络爬虫系统的实现技术
• 3.2.3 针对万方文献数据库的网络爬虫
• 3.2.4 针对中国科技论文在线的网络爬虫
• 3.3 信息预处理模块
• 3.3.1 切分程序
• 3.3.2 词干提取
• 第四章 基于兴趣模型的个性化论文推送系统
• 4.1 系统结构和模块划分
• 4.2 特征选择模块
• 4.3 专家兴趣模型的建立及论文表示
• 4.3.1 向量空间模型
• 4.3.2 贝叶斯模型
• 第五章 系统实现及实验结果
• 5.1 系统实现
• 5.2 实验数据介绍
• 5.3 分类结果的评价方法
• 5.4 实验结果
• 5.4.1 贝叶斯模型实验
• 5.4.2 向量空间模型实验
• 第六章 总结与展望
• 参考文献
• 发表论文和科研情况说明
• 致谢