舆情监测系统及相关技术研究

论文摘要

随着网络技术的普及，互联网已经成为一个不可忽视的舆论宣传阵地，凸显网络舆情的重要性。网络舆论热点层出不穷，各种突发性事件都是通过互联网第一时间扩大传播。互联网已经成为政府了解社情民意的直接渠道，也是新形势下政府的重要舆论阵地。因此，网络舆论一旦被错误地控制和引导，将成为影响社会稳定的重大隐患。如何应对网络舆情，目前正在考验着我国各级政府，获取并分析网络舆情已经成为行政部门决策的重要依据。本文讨论舆情监测及其相关技术的研究，为此，作者实现了一个由全文检索系统和一个聚类系统构成的基本舆情监测系统作为实验基础，针对其中的两项技术中文分词和文本聚类进行了较为深入的研究。取得了以下结果：1．提出了基于平衡2叉树结构的快速分词方法，并对多种中文分词方法进行了实验对比，提出的带频率的双字哈希词典较之于普通双字哈希词典提高了分词速度，这种提高在待切分文本量增大时效果逐渐明显。2．通过对传统聚类方法的研究，提出了对K-means聚类的改进算法，并通过实验对比验证了改进方案的有效性。

论文目录

• 中文摘要
• Abstract
• 1 绪论
• 1.1 研究背景和意义
• 1.2 发展与现状
• 1.2.1 网络舆情监测的相关技术[2]
• 1.2.2 中文分词
• 1.3 本文的研究内容
• 1.3.1 快速中文分词
• 1.3.2 文本聚类
• 1.4 本文的组织结构
• 2 相关理论和技术分析
• 2.1 舆情监测的基本流程
• 2.2 信息检索
• 2.3 检索系统评价
• 2.4 全文检索的基本过程
• 2.5 中文分词方法
• 2.6 索引构建方法
• 2.6.1 基于块的排序索引构建方法
• 2.6.2 内存式单遍扫描索引构建方法
• 2.7 检索
• 2.7.1 检索过程与方式
• 2.7.2 文档评分
• 3 快速分词
• 3.1 引言
• 3.2 典型的词典机制
• 3.2.1 基于整词二分的分词词典机制
• 3.2.2 基于 TRIE 索引树的词典机制
• 3.2.3 基于逐字二分的分词词典机制
• 3.2.4 基于双字哈希的分词词典机制
• 3.2.5 三数组 TRIE 词典结构
• 3.3 典型词典机制的一些改进
• 3.3.1 首字哈希表的改进
• 3.3.2 次字结构的改进
• 3.3.3 第三个字及以后的汉字的存储结构
• 3.4 本文采用的词典机制及实现
• 3.4.1 添加频率的双字哈希词典
• 3.4.2 基于自动机的词典结构
• 3.5 基于平衡二叉树的正向最大匹配中文分词算法
• 3.6 实验
• 3.6.1 实验说明
• 3.6.2 结果与分析
• 本章小结
• 4 文本聚类
• 4.1 文本聚类概述
• 4.2 传统的文本聚类算法
• 4.2.1 基于层次的聚类算法
• 4.2.2 基于划分的聚类算法
• 4.2.3 基于密度的聚类算法
• 4.3 文本的层次聚类算法
• 4.3.1 最近距离
• 4.3.2 最远距离
• 4.3.3 平均距离
• 4.3.4 质心距离
• 4.3.5 中值距离
• 4.3.6 离差平方和
• 4.4 文本相似度计算
• 4.4.1 常用的文本相似度计算
• 4.4.2 加权的文本相似度计算
• 4.5 实验
• 4.5.1 实验数据
• 4.5.2 评价方法
• 4.5.3 实验结果及分析
• 4.6 本章小结
• 5 系统框架
• 5.1 设计
• 5.1.1 系统设计
• 5.2 实现
• 5.2.1 分词器实现
• 5.2.2 索引器实现
• 5.2.3 检索器实现
• 5.2.4 聚类器实现
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢