骨干通道上的网络论坛通信信息监测和分析的关键技术研究

论文摘要

经过近二十年的飞速发展,互联网已经从一种便捷的通信工具,逐渐演变成为一个虚拟社会。网络论坛是这个虚拟社会的重要组成部分,论坛中的言论传播面广、传播速度快,在一定程度上引导了舆论倾向。因此对网络论坛的通信信息进行监测和分析是了解当前舆情态势的有效渠道,对于网络虚拟社会的有序治理具有重要意义。本论文针对骨干通道上的网络论坛通信信息的监测和分析的关键技术进行了研究,主要包括以下内容：1.提出了一个“分层分布的高速骨干通信信息监测分析系统结构模型”。该模型横向根据功能和技术特性分层,纵向遵循骨干网通道的属地化管理原则构建分布式监测节点。对网络通信数据捕获、信息抽取、信息存储、深度分析、协同监测业务等重要环节的处理过程进行了归纳和抽象。其中的数据捕获、信息抽取、深度分析技术作为后续章节展开的重点。2.提出了一个“基于逻辑输出端口分组的过滤分流器设备”的设计方案。可以进行灵活的数据包复制和过滤,实现组内不同逻辑端口分流负载的灵活分配以及外接交换机二级分流。并在此基础上,提出了“动态反馈式前向缓存的过滤分流机制”的过滤分流优化机制,可以实现会话级别基于数据内容的过滤,以及灵活的关联数据完整截获。可以显著降低信息还原抽取层设备的规模。3.提出了一个“基于SVM和层次CRF的旁路截获数据的网络论坛信息抽取方法”。采用SVM技术通过对截获数据的宏观特征分析,自动识别论坛网站；采用层次CRF技术,对网络论坛会话的行为类型进行判断,并对相关信息元素进行类型标注,在此基础上形成信息抽取所用的Wrapper；采用wrapper技术对骨干网通道上的网络论坛信息进行自动抽取。4.提出了“基于旁路截获数据的网络言论特征参量体系”,以及“基于网络言论特征参量的深度分析方法”。充分考虑了论坛网站、版面、网民和帖子实体间的相互关系,将如网民对言论的兴趣、网民参与议论的程度、言论的扩散速度、网站关注程度等要素融合在一起；能够充分利用旁路截获数据的特性,通过对旁路截获数据中抽取的重要元素进行分析而获取网络言论规律特性,进行网络言论的态势分析和趋势预测。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 与本论文相关的研究工作
• 1.3 本论文的研究思路
• 1.3.1 思路和框架
• 1.3.2 意义和创新点
• 1.4 本论文结构
• 第二章 国内外相关技术研究状况综述
• 2.1 网络信息的捕获技术
• 2.2 信息还原和抽取技术
• 2.3 网络行为和内容的深度分析技术
• 第三章 高速骨干通信信息监测分析系统的结构模型和实现方法
• 3.1 分层分布的高速骨干通信信息监测分析系统结构模型
• 3.2 分层分布的高速骨干通信信息监测分析系统的实现
• 3.2.1 总体框架
• 3.2.2 信息捕获层实现方法
• 3.2.3 信息还原抽取层实现方法
• 3.2.4 海量信息存储和搜索层实现方法
• 3.2.5 本地监测分析应用层实现方法
• 3.2.6 全局监测业务层实现方法
• 3.3 系统结构模型和实现方法的特点
• 第四章 高速骨干通道上的信息捕获方法
• 4.1 基于逻辑输出端口分组的过滤分流设备设计
• 4.1.1 过滤分流设备阵列的总体设计
• 4.1.2 逻辑输出端口分组
• 4.1.3 过滤机制
• 4.1.4 分流机制
• 4.1.5 堆叠机制
• 4.1.6 本设计的优势
• 4.2 动态反馈式前向缓存的过滤分流机制
• 4.2.1 基本思路
• 4.2.2 过滤机制
• 4.2.3 动态反馈机制
• 4.2.4 前向缓存机制
• 4.2.5 本改进方法的优势
• 4.3 性能分析
• 4.3.1 抽象模型
• 4.3.2 溢出1的概率分析
• 4.3.3 溢出2的概率分析
• 4.3.4 溢出3的概率分析
• 4.4 实际应用效果
• 第五章 网络论坛通信信息的还原和抽取方法
• 5.1 旁路监测数据的特点
• 5.2 旁路监测数据的还原和抽取处理过程
• 5.2.1 会话拼接
• 5.2.2 编码转换
• 5.2.3 信息抽取
• 5.2.4 排重
• 5.3 基于SVM和层次CRF的旁路截获数据的网络论坛信息抽取方法
• 5.3.1 方法概述
• 5.3.2 论坛网站的自动识别
• 5.3.2.1 文本自动分类方法概述
• 5.3.2.2 基于支持向量机（SVM）的网络论坛自动识别
• 5.3.3 网络论坛的行为识别和元素抽取
• 5.3.3.1 序列标注方法概述
• 5.3.3.2 基于层次CRF的网络论坛行为识别和元素抽取
• 5.3.3.3 行为类型和信息元素识别前的预处理
• 5.3.3.4 网络论坛会话的行为类型识别
• 5.3.3.5 网络论坛的信息元素类型识别
• 5.4 实验验证
• 第六章 网络言论状况的深度分析方法
• 6.1 网络论坛实体信息库的建立
• 6.2 基于旁路截获数据的网络言论特征参量体系
• 6.3 基于网络言论特征参量的深度分析
• 6.3.1 特征参量的投影和聚合分析
• 6.3.2 基于专家先验知识的网络言论状态评估
• 6.3.3 基于HMM模型库的言论状态趋势预测
• 第七章 总结和展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢