网络舆情热点发现与事件跟踪技术研究

论文摘要

随着Internet的飞速发展,越来越多的人愿意通过网络来传达自己的思想、情绪和态度,负面的网络舆情对社会公共安全造成了越来越大的威胁,网络舆情分析对维护社会稳定、促进国家发展具有重要的现实意义。本文对网络舆情热点发现与事件跟踪技术进行了研究,并在此基础上设计并实现了“海思”舆情分析与监管系统。本文重点研究并分析了网络舆情分析系统中的关键技术——信息获取、信息预处理、热点发现与事件跟踪以及舆情预警技术:1、信息获取与信息预处理指利用网络爬虫（Crawler）抓取指定范围的网页并通过网页净化、中文分词生成权值向量的过程。本文第三章重点研究了现有爬虫的局限性及其改进策略,以及新闻与BBS不同的网页净化方法;2、热点发现（Hot Topic Detection）与事件跟踪（Topic Tracking）是舆情分析的核心问题。本文在第四章分别研究了利用改进的Single-pass增量聚类算法以及基于自主学习的1NN增量分类来实现对舆情信息新事件、热点事件、及焦点敏点事件的发现与跟踪;3、预警技术是研究通过对舆情影响因素的趋势分析与预测来对有可能成为热点还未成为热点的事件进行预警。本文第四章研究了采用基于ARMA的单因素预测模型与多元线性回归模型相结合的预警模型进行舆情预警。本文最后介绍了网络舆情分析系统的具体功能实现。在设计了系统的整体框架后,分别对各模块的功能实现进行了具体说明。该系统运行在Unix/Linux操作系统上,实现了网络舆情的收集、分析、监测与预警,可有效辅助人工舆情监控并减少人为干预。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景
• 1.2 课题研究内容
• 1.3 论文组织结构
• 第2章 网络舆情分析相关技术研究现状
• 2.1 引言
• 2.2 国内外相关技术研究现状
• 2.2.1 网络海量信息抓取技术
• 2.2.2 自然语言处理技术
• 2.2.3 基于Web的文本挖掘技术
• 2.2.4 主题检测与跟踪（TDT）技术
• 2.2.5 相关技术的发展趋势分析
• 2.3 国内外相关系统研究成果
• 2.4 本章小结
• 第3章 信息获取及信息预处理技术研究
• 3.1 引言
• 3.2 信息获取技术
• 3.2.1 网络爬虫原理及功能
• 3.2.2 现有网络爬虫的局限性
• 3.2.3 改进后的爬行策略
• 3.3 信息预处理技术
• 3.3.1 新闻网页净化技术
• 3.3.2 BBS网页净化技术
• 3.3.3 中文分词技术
• 3.4 本章小结
• 第4章 热点发现与事件跟踪技术研究
• 4.1 引言
• 4.2 热点事件发现技术
• 4.2.1 增量聚类思想的提出
• 4.2.2 改进的Single-pass增量聚类算法
• 4.2.3 实验及结果分析
• 4.3 热点事件跟踪技术
• 4.3.1 事件跟踪算法分析
• 4.3.2 1NN增量分类算法
• 4.3.3 实验及结果分析
• 4.4 趋势分析与预警技术
• 4.4.1 舆情影响因素分析及预警模型的提出
• 4.4.2 基于ARMA模型的舆情预测
• 4.4.3 多元线性回归预警模型
• 4.5 本章小结
• 第5章 网络舆情分析系统的设计与实现
• 5.1 系统总体设计和实现框架
• 5.2 系统模块划分
• 5.3 功能组件设计
• 5.3.1 增量爬虫组件
• 5.3.2 新闻与BBS预处理组件
• 5.3.3 事件发现功能组件
• 5.3.4 事件跟踪功能组件
• 5.3.5 趋势分析与预警组件
• 5.4 系统运行效果示例
• 5.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢