基于文本的网络内容审计系统的设计与实现

论文摘要

当前网络色情信息、反动言论、暴力等有害信息泛滥,而主题分类等方法对过滤这些信息显得力不从心。为更好的过滤网络中有害信息,将信息分类为无关信息、积极信息和消极信息三个类别并提出进行文本态度倾向性过滤的必要性。在分析当前文本态度倾向性分析技术的基础上,本文所作的工作如下:1、针对分类中高维性和稀疏性两大难题,在总结了当前特征降维方法的基础上,提出了组合特征提取算法。该算法结合CHI和IG的特性,既有利于高频特征,又有利于只出现在少数类中且能强烈表现文本语义信息的中低频特征。2、为有效过滤无关信息并使过滤模型逐步逼近用户的真实需求,提出了用户信息反馈和阈值过滤策略,设计了基于SNoW算法的主题分类模型,具有排除无关信息和将有关信息分类到特殊领域类的双重功能。3、为更准确的体现文本语义,在更细粒度层面上分析作者的立场态度,本文提出了基于语法语义规则和统计相融合的文本态度倾向性识别算法。该算法将SVM的特征进行广义延伸,将倾向性词语和红黑特征库所组成的短语搭配、BOW等作为SVM分类器的特征,体现了文本的语义约束。4、设计并实现了基于文本态度倾向性分析的网络内容审计系统。实验证明,该系统实现了对文本高准确率、高效的立场倾向性识别。总之,本论文比较全面的论述了基于文本态度倾向性分析的网络内容审计模型的设计和实际系统的设计与实现方法。重点阐述了主题分类中的组合特征提取算法、基于用户信息反馈和阈值策略的自适应算法、基于语法语义规则和统计相融合的文本态度倾向性识别的分析方法,对以后的文本倾向性研究有着一定的意义。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题研究背景
• 1.1.1 有害信息污染
• 1.1.2 选题的目的和意义
• 1.2 国内外研究现状
• 1.3 论文的主要研究内容
• 1.4 论文的组织结构
• 第2章 基于信息反馈的文本主题分类技术
• 2.1 引言
• 2.2 文本主题分类分析
• 2.3 特征降维
• 2.3.1 特征降维算法分析
• 2.3.2 改进的组合特征提取算法
• 2.4 信息反馈处理与阈值过滤
• 2.5 实验结果与分析
• 2.5.1 实验设计
• 2.5.2 试验结果
• 2.5.3 结果分析
• 2.6 本章小结
• 第3章 基于语义的文本倾向性分析技术
• 3.1 引言
• 3.1.1 基于统计分布的判断思想
• 3.1.2 基于语法语义规则的思想
• 3.2 语义规则与统计相融合的倾向性分析
• 3.2.1 语法语义规则模型的设计
• 3.2.2 统计模型的分析
• 3.3 实验结果与分析
• 3.3.1 实验设计
• 3.3.2 实验结果
• 3.3.3 结果分析
• 3.4 本章小结
• 第4章 基于倾向性分析的内容审计系统的设计与实现
• 4.1 系统功能概述
• 4.2 总体设计与系统架构
• 4.3 功能模块设计与实现
• 4.3.1 主控模块
• 4.3.2 训练模块
• 4.3.3 测试模块
• 4.4 系统测试与分析
• 4.4.1 试验设计
• 4.4.2 实验结果
• 4.4.3 结果分析
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢