网络舆情分析关键技术研究

论文摘要

随着互联网的迅猛发展和网民数量的迅速增长，越来越多的人通过网络来表达自己的情绪和观点，由此网络便逐渐发展成为民意的集散地。在这种现实背景下，对一些突发事件和敏感案件的不实言论和恶意煽动，会欺骗和误导广大人民群众，因此有必要对网络上的话题和言论进行有效地监管，旨在从海量的网络文本数据中及时捕捉舆情的动态，它对维护社会稳定、构建和谐社会具有重要的现实意义。因此，对网络舆情分析技术的研究已成为一项十分紧迫的重要课题。本文对网络舆情分析的信息获取技术、信息预处理技术以及舆情信息分析技术进行了全面的介绍和分析，并重点研究了舆情分析系统中的两种关键技术文本特征选择和特征权重计算：（1）论文对特征选择问题进行研究。文本特征选择的信息增益算法通常会导致在指定类别中出现稀少而在其他类别中出现频繁的特征被选择出来，这显然并非特征选择所期望的结果。针对这一局限性,本文提出了基于特征分布补偿因子和惩罚因子的信息增益的改进方法。实验结果表明，改进的方法可以有效平衡特征出现与不出现时所带的信息量，能够取得较好的分类效果。（2）论文对特征权重计算问题进行研究。特征权重算法对文本分类系统的精确度有很大影响，传统的TFIDF算法未能考虑特征项在类间和类内的分布情况，本文在对传统算法和相关改进算法深入分析的基础上，引入了类间偏斜度、类内离散度和权重调整因子的改进思路，提出了WA-DI-SI的特征权重改进算法。实验结果表明，本文提出的改进算法较之其他改进算法，具有更好的分类效果。利用上述研究成果，本文设计了网络舆情分析系统的整体框架和各部分的工作流程，并实现了相关的功能。

论文目录

• 摘要
• ABSTRACT
• 第一章 前言
• 1.1 引言
• 1.2 课题的研究背景和意义
• 1.2.1 网络舆情基本概念
• 1.2.2 网络舆情的特点
• 1.2.3 网络舆情分析的意义
• 1.3 国内外研究现状
• 1.3.1 国外研究现状
• 1.3.2 国内研究现状
• 1.4 论文研究内容与章节组织
• 1.4.1 论文研究内容
• 1.4.2 论文章节组织
• 第二章 网络舆情分析关键技术
• 2.1 网络信息获取技术
• 2.1.1 网络爬虫技术的工作原理
• 2.1.2 网络爬虫技术的工作流程
• 2.1.3 网络爬虫技术的比较与分析
• 2.2 信息预处理技术
• 2.2.1 网页清洗技术
• 2.2.2 文本分词技术
• 2.2.3 文本表示模型与特征选取技术
• 2.2.4 文本分类算法
• 2.3 网络舆情分析技术
• 2.4 本章小结
• 第三章 特征选择算法和权重计算算法的改进研究
• 3.1 特征选择技术研究
• 3.1.1 特征选择的定义
• 3.1.2 特征选择的分类
• 3.1.3 特征选择算法及相关改进研究
• 3.2 基于补偿因子和惩罚因子的信息增益改进研究
• 3.2.1 信息增益算法的分析
• 3.2.2 信息增益算法的局限性与相关改进工作
• 3.2.3 基于补偿因子和惩罚因子的信息增益改进研究
• 3.2.4 实验方案
• 3.2.5 实验结果及分析
• 3.3 基于 WA-DI-SI 算法的特征权重改进研究
• 3.3.1 TFIDF 特征权重算法
• 3.3.2 TFIDF 算法的缺陷及相关改进工作
• 3.3.3 基于 WA-DI-SI 算法的特征权重改进研究
• 3.3.4 实验方案
• 3.3.5 实验结果及分析
• 3.4 本章小结
• 第四章 网络舆情分析系统设计与实现
• 4.1 系统整体架构
• 4.2 系统功能模块设计
• 4.2.1 信息采集子系统
• 4.2.2 信息预处理子系统
• 4.2.3 舆情分析子系统
• 4.3 系统功能模块的实现
• 4.4 本章小结
• 第五章 结束语
• 5.1 本文的工作总结
• 5.2 今后的研究方向
• 参考文献
• 致谢
• 个人简历