网络舆情系统中的热点话题快速发现技术研究

论文摘要

互联网的普及以及快速发展创造了巨大的经济效益和社会效益,同时也传播了各种不良信息和不规范行为。网络舆情分析是应对这些问题的重要方法,是维护互联网健康发展的重要手段。话题发现是舆情系统的核心技术之一。传统的基于富文本的话题发现技术已经比较成熟。然而,近年来微博、BBS等新媒体形式的发展,使短文本在互联网中占据重要位置。短文本与富文本的重要区别在于无法抽取足够特征,因此短文本的分析处理方法与富文本有较大的差异。短文本处理的技术千差万别。本文采用基于短文本内容主干的比较方法实现短文本的相似性重复检测。本文采用词级别的聚类技术,通过若干个关键词组合来发现话题。其中采用0-1模型对词建模,根据词的生成概率、前景频率等因素选择关键词（即特征选择）,然后使用布尔模型和倒排索引衡量词间的相关性,从而聚词形成话题。最后将短文本根据相关匹配度分到各个话题中,用以描述话题的受关注程度。本文的实验数据是从互联网上爬取实时的文本流（微博、新闻标题等）,实验证明本文设计的算法能够迅速并有效的从文本流中发现热点话题。在架构方面,本文还设计了短文本相似性重复检测的分布式结构和针对短文本的热点话题快速发现系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究的背景、目的和研究意义
• 1.2 热点话题国内外研究现状
• 1.3 论文研究内容及本文工作
• 1.3.1 相似短文本的重复检测
• 1.3.2 基于短文本的热点话题发现
• 1.4 论文内容安排
• 第二章 相关理论与关键技术
• 2.1 话题识别与跟踪评测中的相关技术
• 2.2 话题发现模型
• 2.2.1 布尔模型
• 2.2.2 向量空间模型
• 2.2.3 概率模型
• 2.2.4 语言模型
• 2.2.5 四种模型比较
• 2.3 基于文档的话题发现模型及其局限性
• 2.4 短文本语言计算和相似性重复检测
• 2.5 非关系型数据库、TokyoCabinet和TokyoTyrant
• 第三章 基于短文本的相似性重复检测
• 3.1 基于短文本内容主干的重复分析方法
• 3.2 算法实施架构
• 3.2.1 该架构需要说明之处
• 3.2.2 该架构中涉及的数据存储
• 3.2.3 HASH服务器端结构
• 3.2.4 数据处理流程图
• 3.3 算法优越性
• 第四章 基于短文本的热点话题发现
• 4.1 短文本话题发现算法选择
• 4.2 短文本话题发现模型选择
• 4.3 基于突发特征词的聚类方法
• 4.3.1 短文本预处理
• 4.3.2 确认突发词
• 4.3.3 组合突发词形成事件
• 4.4 在文本流中检测热点事件
• 第五章 实验研究及结果
• 5.1 语料的准备及预处理
• 5.2 确认突发特征词
• 5.3 识别热点话题
• 5.4 热点话题粒度分析
• 第六章 短文本舆情分析系统设计
• 6.1 系统概述
• 6.2 系统总体架构设计
• 6.3 系统业务流程设计
• 6.4 系统功能设计
• 6.4.1 信息分析功能组
• 6.5 系统特点描述
• 6.5.1 多渠道信息获取
• 6.5.2 基于内容相似性去重
• 6.5.3 热点话题发现粒度小、质量高
• 第七章 结束语
• 7.1 本文总结
• 7.2 进一步工作
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录