网络舆情分析关键技术的研究与实现

论文摘要

互联网因其时效性强、交互性好等特点,已经成为人们日常获取信息的重要途径,互联网因此具有了巨大的引导舆论、影响受众的能力,网络舆情已经成为社会舆情的重要组成部分,对社会的影响力越来越大。由于互联网虚拟性、随意性、交互性、及时性的特点,网络舆情具有一些传统社会舆情所不具备的特点,如直接性、突发性、偏差性等,而互联网上信息量巨大,难以通过人工及时准确的发现网络上的舆情信息,正是在这种需求的驱动下,网络舆情分析引起了越来越多研究者的关注,成为当前信息处理领域的热点问题。本文首先分析了网络舆情分析在国内外的研究现状,介绍了网络舆情分析相关的理论,然后在此基础上对网络舆情分析的关键技术展开了研究,本文的研究工作主要包括以下五个方面:(1)在调研了各种新闻表示模型的基础上,采用向量空间模型作为新闻表示模型,并通过实验测试了词向量维度对话题检测准确率和所需时间的影响。(2)提出了面向海量互联网新闻时话题检测中聚类算法的选择策略,在调研了主要的聚类算法的基础上,采用了基于BIRCH算法的话题检测模型,并通过实验证明了采用该模型能够很好的检测到互联网上的话题。(3)提出了一个基于多维特征的话题追踪模型,当所有的特征都满足阈值要求时,才认为两个话题是同一话题,该模型能够很好的区分相似与相同的话题。(4)对热点话题的特征、发展周期进行了分析,对热点话题的计算进行了研究,通过实验证明了本文中的热点话题计算方法可以有效的分析出当前互联网上的热点话题。(5)在上述研究工作的基础上设计并完整实现了网络舆情分析系统,该系统可以发现反映网络舆情的热点话题,达到了实用的程度,进一步验证了上述方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景及意义
• 1.2 舆情分析的国内外研究现状和分析
• 1.3 本文的主要工作及内容安排
• 第2章 网络舆情分析基础知识
• 2.1 引言
• 2.2 TDT 基础知识
• 2.2.1 TDT 的发展历程
• 2.2.2 TDT 中的基本概念与任务定义
• 2.2.3 TDT 的评价
• 2.3 信息检索基础知识
• 2.3.1 信息检索中的关键技术
• 2.3.2 信息检索系统评价
• 2.4 本章小结
• 第3章 网络舆情分析关键技术的研究
• 3.1 引言
• 3.2 新闻文本表示
• 3.2.1 新闻表示模型选择
• 3.2.2 特征项权重计算
• 3.2.3 特征维数约减
• 3.3 话题检测
• 3.3.1 话题检测算法
• 3.3.2 基于BIRCH 算法的话题检测模型
• 3.3.3 话题检测实验
• 3.4 话题追踪
• 3.4.1 话题质心
• 3.4.2 话题质心的修正
• 3.4.3 基于多维特征的话题追踪模型
• 3.4.4 话题追踪实验
• 3.5 热点话题分析
• 3.5.1 热点话题特征分析
• 3.5.2 话题热度度量
• 3.5.3 热点话题分析实验
• 3.6 本章小结
• 第4章 网络舆情分析系统的设计与实现
• 4.1 引言
• 4.2 系统框架结构
• 4.2.1 数据层
• 4.2.2 话题层
• 4.2.3 分析层
• 4.2.4 用户层
• 4.3 系统功能说明
• 4.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢