基于搜索引擎索引分析的互联网舆情监控研究

论文摘要

随着Internet在全球范围内的高速发展,互联网已经成为人们获取信息的重要途径和反映社会舆情的主要载体之一。然而,由于互联网的开放性和虚拟性,使得网络舆情比传统舆情的波及范围更广,传播速度更快,突发性更强,而且各种不良信息以及煽动性言论往往充斥其间,极易引起公众的不理性判断和妨害社会稳定。因此,对于互联网舆情进行有效的监督和控制已经越来越成为必不可少的措施。与传统的舆情监控研究只针对有限的、具体的网站或信息来源进行局部监控不同,本文以搜索引擎庞大的索引空间为监控对象,结合索引分析技术,实现在索引空间中对网络舆情的分析和监控,从而为宏观上监督整个互联网的舆情做出初步的探索。本文首先讨论了搜索引擎搜的工作原理和索引的组织方式,接着分析和总结了索引分析领域已有的技术和理论,并着重描述了Yossef-Gurevich索引分析算法和存在的不足。本文结合我国国情和舆情监控的目的,对索引分析算法进行了相应的改进:一方面通过构建中文查询词字典、实验得出蒙特卡罗仿真的最佳试验次数,使得索引分析算法可以有效的应用于中文索引分析领域;另一方面,通过对搜索引擎的搜索结果进行过滤,消除与舆情无关的索引文档的影响,提高舆情监控和分析的准确度。在舆情监控方面,本文在索引分析的基础上,结合网页去噪技术,实现了在搜索引擎的索引空间中对某个特定舆情进行有针对性的监控,并统计得出了特定舆情的发展趋势和主要分布等规律,从而为宏观上监督和把握整个互联网的舆情提供参考。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景与意义
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 研究内容
• 1.4 本文的组织结构
• 第二章 搜索引擎概述
• 2.1 搜索引擎分类
• 2.1.1 全文搜索引擎
• 2.1.2 目录搜索引擎
• 2.1.3 元搜索引擎
• 2.2 搜索引擎工作原理
• 2.2.1 信息搜集器
• 2.2.2 分析器
• 2.2.3 索引器
• 2.2.4 检索器
• 2.2.5 用户接口
• 2.3 搜索引擎的索引组织
• 2.3.1 正排表和倒排表
• 2.3.2 倒排表的组织
• 2.4 本章小结
• 第三章 搜索引擎索引分析算法研究
• 3.1 索引分析的研究现状
• 3.2 索引分析算法
• 3.2.1 相关定义
• 3.2.2 索引分析公式
• 3.2.3 重要性采样
• 3.2.4 近似重要性采样
• 3.2.5 Rao‐Blackwellization
• 3.3 本文实现的改进
• 3.3.1 中文字典的构建
• 3.3.2 蒙特卡罗仿真
• 3.3.3 搜索结果的过滤
• 3.4 本章小结
• 第四章 基于索引分析的舆情监控的实现
• 4.1 算法思想
• 4.2 系统构架
• 4.3 本文实现的关键技术
• 4.3.1 重要性采样
• 4.3.1.1 计算查询词的势
• 4.3.1.2 获取查询词的结果集
• 4.3.2 蒙特卡罗仿真
• 4.3.2.1 计算 IVD
• 4.3.2.2 计算 WSE
• 4.3.3 舆情分析
• 4.4 本章小结
• 第五章 系统实验与讨论
• 5.1 索引分析的实验与讨论
• 5.2 舆情分析的实验与讨论
• 5.3 本章小结
• 第六章 结束语
• 6.1 论文工作总结
• 6.2 未来研究展望
• 参考文献
• 致谢
• 攻读学位期间已发表或录用的论文
• 上海交通大学学位论文答辩决议书