基于Nutch的民航领域舆情信息监测技术研究

论文摘要

网络的高速发展带来一系列网络监管上的问题,除传统的网络安全技术问题外,网络内容安全也越来越引起了人们的重视,网络舆情信息的监测正是在这种背景下产生的。舆情是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,民众对社会管理者产生和持有的社会政治态度,而网络舆情则是人们通过网络表达自己对于社会事件的看法。研究网络舆情对于政府和企业了解民众的真实社会观点,及时做出正确决策,缓解社会矛盾有着重要的现实意义和实际价值。本文以Nutch为基本研究工具,面向民航特定领域,围绕舆情信息监测系统中的若干关键性技术,进行了比较深入的研究与探索。研究和构建了民航领域网络舆情信息监测系统架构,梳理和凝练了民航领域网络舆情信息监测系统中的关键技术。针对网络舆情监测中的中文信息处理,提出了一种适用于真实网络环境下的基于免疫遗传算法的网络新词识别方法。围绕热点发现,以Nutch为基本的网页采集工具,利用民航业专业词库和single-pass算法,提出了一种面向民航领域的网络热点发现方法。围绕舆情分析,以知网为基本的语义词典,提出了一种对热点事件相关网页上的评论进行倾向性分析的方法。并分别对上述方法进行了实验,结果表明提出的算法能够较好的解决网络环境下新词识别、热点发现以及评论倾向性分析等问题,为民航领域舆情信息监测系统研制提供了理论支持和技术支撑。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题研究背景与意义
• 1.2 国内外研究现状
• 1.3 本文主要研究内容和组织结构
• 第二章 民航领域网络舆情信息监测系统架构
• 2.1 民航领域网络舆情信息监测系统基本架构
• 2.2 民航领域舆情信息监测关键性技术
• 2.3 Nutch的基本结构
• 2.4 本章小结
• 第三章 基于免疫遗传算法的网络新词识别方法
• 3.1 中文分词方法
• 3.2 中文新词识别方法
• 3.3 一种基于免疫遗传算法的网络新词识别方法
• 3.3.1 相关概念
• 3.3.2 网络新词识别算法设计
• 3.3.3 算法实现中的几个关键性问题
• 3.4 Nutch中文分词模块的实现
• 3.5 实验设计与结果分析
• 3.6 本章小结
• 第四章 基于Nutch的民航领域网络热点发现
• 4.1 热点发现基本概念及关键性算法
• 4.1.1 基本概念
• 4.1.2 关键性算法
• 4.2 基于Nutch的民航领域网络热点发现算法
• 4.2.1 基于Nutch的网页采集
• 4.2.2 基于民航专业词库的网页过滤
• 4.2.3 热点话题的量化
• 4.2.4 热点话题发现模型
• 4.3 实验设计与结果分析
• 4.3.1 实验数据
• 4.3.2 实验结果及分析
• 4.4 本章小结
• 第五章 基于知网的网络评论倾向性分析
• 5.1 知网的结构与知识描述语言
• 5.1.1 知网的结构
• 5.1.2 知网的知识描述语言
• 5.2 网络评论倾向性分析
• 5.2.1 基于知网和同义词词林的词汇倾向性分析
• 5.2.2 网络评论的倾向性分析
• 5.2.3 网络评论倾向性分析系统架构
• 5.3 实验设计与结果分析
• 5.4 本章小结
• 第六章 总结与展望
• 参考文献
• 攻读学位期间的科研成果
• 致谢