个性化智能新闻信息检索系统的设计与实现

论文摘要

信息爆炸式的增加,导致处理和使用这些庞大的信息变得越来越困难。人们在面对“信息过载”和“资源迷向”的问题时,往往显得不知所措。现行的网络新闻信息检索系统面临很多问题,主要是由于网络上信息的不断更新,就要求网络新闻信息检索对庞大的动态的信息要做出快速和准确的处理。同时通用搜索引擎很难满足不同背景,不同目的用户查询要求。为了解决这些问题,个性化智能搜索引擎应运而生。为了对有不同兴趣的用户准确地提供网络新闻信息,我们设计了个性化智能搜索引擎——AI times。AI times系统可以根据用户的不同兴趣返回不同的查询结果。同时,我们提出了一些改进和创新算法。如:优化的网络爬虫算法,模拟实验显示更新速度可以比传统的网络爬虫快6倍。基于关键标签的信息抽取算法,不光可以在最少的人工干预下,提取到有用信息,还同时根据重要性对文档分类,使网络爬虫可以重点回访和更新那些重要新闻信息。通过查询扩展方法改进了单一的向量空间模型,最后,我们提出了一个冗余信息推荐算法,模拟实验表明。该结构和算法能够有效地检索出与用户兴趣相关的信息,并且具有良好的可适应性。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 论文研究的背景及意义
• 1.2 国内外研究现状
• 1.3 论文主要研究内容
• 1.4 论文研究的思路
• 1.5 论文结构
• 1.6 论文创新点
• 2 个性化智能搜索引擎基础
• 2.1 搜索引擎概述
• 2.2 搜索引擎基本工作流程
• 2.3 网页搜集
• 2.4 预处理
• 2.5 查询服务
• 2.6 通用搜索引擎的体系结构
• 2.7 现有搜索引擎的缺陷
• 3 个性化智能搜索引擎Al TIMES中应用的相关基本理论与算法
• 3.1 新闻信息检索
• 3.2 数据提取
• 3.3 网页爬虫
• 3.4 MAPREDUCE
• 3.5 倒排索引
• 3.6 向量空间模型
• 3.7 智能AGENT技术
• 3.8 小结
• 4 个性化智能搜索引擎Al TIMES的设计
• 4.1 Al TIMES系统的体系结构
• 4.2 优化的网页爬虫模块
• 4.3 基于关键标签的新闻信息提取算法
• 4.4 自动摘要算法
• 4.4.1 特征词的产生
• 4.4.2 句子的权值
• 4.4.3 生成摘要
• 4.5 实验
• 4.6 倒排索引与查询
• 4.6.1 倒排索引结构
• 4.6.2 查询扩展
• 4.6.3 实验结果及分析
• 4.7 个性化用户兴趣模块设计
• 4.7.1 Al times用户查询Agent
• 4.7.2 用户兴趣模型的建立与调整
• 4.7.3 信息过滤及冗余信息推荐
• 4.8 模拟实验
• 4.9 小结
• 5 结论
• 参考文献
• 在学期间的研究成果