网络舆情热点话题发现技术研究

论文摘要

随着网络的迅猛发展，网络已成为广大网民获取与发布信息不可或缺的渠道，因此网络舆情信息的舆论导向作用愈来愈大。如何及时并有效的发现舆情热点，并对关注热点跟踪分析，保障信息安全，监控舆论，已成为舆情研究领域中的一个重点和难点，也是一个挑战。本文综合分析了国内外话题识别与跟踪的研究现状，针对新闻报道形式的网络舆情语料，利用网络舆情分析处理技术，自动识别舆情热点话题。本文的核心工作包括舆情信息采集、舆情信息预处理、话题发现、热点话题识别。首先，网络舆情信息获取，针对传统的网络爬虫的两大缺陷，采取一定的网页分析策略，过滤无关网页，提高了舆情信息采集的效率及质量。另外，分析网页模板，设计一种基于模板与正则表达式结合的web信息抽取方法，进行网页清洗，将抽取到的有用信息保存到数据库服务器中。其次，舆情信息预处理，对采集的新闻报道正文进行新闻特征提取，利用向量空间模型表示新闻报道标题及正文内容，引入了命名实体识别对新闻特征权重计算的改进，设计了不同新闻报道间的相似度计算公式。再次，舆情话题发现，针对传统的话题发现算法Single-pass增量聚类算法存在的几个不足之处，引入了K-means方法和种子新闻报道的概念，提出了改进算法-增量K-means聚类算法。通过实验分析与比较，表明改进后的增量K-means聚类算法对于网络舆情话题发现还是有效可行的。最后，热点话题识别处理中，通过对舆情热点话题的特征分析，并结合媒体关注度与网民关注度设计了话题的“热”度计算公式，进行热点排序，找出热点话题。引入“Topic Index”的方法，探讨热点话题的产生及其演变过程。

论文目录

• 中文摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 课题研究背景与意义
• 1.1.1 研究背景
• 1.1.2 课题研究意义
• 1.2 国内外相关研究现状
• 1.3 论文的主要研究内容及工作
• 1.4 论文的组织结构
• 第二章 网络舆情分析相关技术
• 2.1 总体介绍
• 2.2 相关技术介绍
• 2.2.1 网络爬虫技术
• 2.2.2 自然语言处理技术
• 2.2.3 关键词抽取技术
• 2.2.4 Web 文本挖掘
• 2.3 本章小结
• 第三章 网络舆情话题识别
• 3.1 总体设计
• 3.2 网络舆情语料的采集
• 3.2.1 网页采集
• 3.2.2 网页清洗
• 3.3 网络舆情信息的预处理
• 3.3.1 向量空间模型
• 3.3.2 新闻特征提取
• 3.3.3 新闻特征词权重计算
• 3.3.4 新闻报道相似度计算
• 3.4 话题发现
• 3.4.1 Single-pass 增量聚类算法
• 3.4.2 增量 K-means 聚类算法
• 3.5 实验结果与分析
• 3.5.1 实验评价标准
• 3.5.2 相似度阈值的取值计算
• 3.5.3 算法的比较与分析
• 3.5.4 结果分析
• 3.6 本章小结
• 第四章 热点话题发现
• 4.1 话题热点特征表示及量化
• 4.1.1 媒体关注度
• 4.1.2 网民关注度
• 4.1.3 特征量化及“热”度计算公式
• 4.2 Topic Index
• 4.3 实验结果与分析
• 4.3.1 实验语料
• 4.3.2 话题发现
• 4.3.3 热点话题识别
• 4.3.4 话题发展曲线
• 4.4 本章小结
• 总结与展望
• 总结
• 进一步的研究工作
• 参考文献
• 致谢
• 个人简历、在学期间的研究成果及发表的论文