汉语主客观文本分类及预处理研究

论文摘要

随着互联网的普及,网络已经成为人们获取信息的一个非常重要的手段。但是随着信息爆炸似的增长,人们很难在较短的时间内找到自己所需要的信息,这也就是信息过载的问题。文本分类是当前数据挖掘的一个重要研究方向。一些应用方面的工作,如对电子商务的评价,民意调查的结果等等都需要对文本进行挖掘。然而,从海量的信息中人工查找具有意见性的主观性文本是不现实的。在本文中,我们提出一个方法来针对主客观文本进行分类。通过分析主客观文本之间存在的差别来抽取能够区别它们的一些特征。最终应用朴素贝叶斯和支持向量机模型,用特征项的不同组合对其进行主客观文本分类,力争达到最优效果。随着即时通信软件(Instant Messaging)的普及(如MSN,QQ等),一种非规范语言就广泛出现于其中。在这些环境中使用的特殊语言被称为为网络非规范语言(Network Informal Language, NIL)表达。例如在网络聊天中常用“8错”取代“不错”,用“稀饭”表示“喜欢”等等。在传统的文本挖掘中,这些信息都被视为噪音。但事实上,包含这些非规范词语的句子经常会存在用户的表达个人意愿的信息。举个例子,“这款车型还是受广大车迷稀饭的!”可以看出,在这个句子里面,“稀饭”表达“喜欢”。通过这句话持有者表达了自己对某一车型的观点和看法。在本文工作中,文本预处理研究就是对这些主观性的文本进行正规化处理。首先通过编写特定的网络蜘蛛程序收集某论坛上一定时间段内的网页。对网页进行人工筛选,构建非规范语言词典。最终将互联网上常见的非规范词语划分为六个大类。考虑到处理成本的问题,将这六个大类别划分成两个大类:典型非规范语言和歧义非规范语言。对于典型非规范语言,采用基于序列覆盖算法的模式匹配方法对其进行正规化处理。而对于歧义非规范语言,由于这种类别很难从字词层面上判断出是否是非规范词。采用基于特征抽取的分类方法将其识别。最终都达到正规化的目的。得出基本正规的主观性文本。

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 问题的提出
• 1.2 目的和意义
• 1.3 本文的贡献
• 1.4 其他章节介绍
• 2 相关研究概述
• 2.1 主客观文本分类
• 2.2 非规范语言处理
• 2.3 相关资源
• 3 主客观文本分类
• 3.2 分类一般流程
• 3.3 分类算法介绍
• 3.3.1 朴素贝叶斯分类方法
• 3.3.2 决策树分类算法
• 3.3.3 基于最大熵模型
• 3.3.4 支持向量机模型
• 3.4 主客观文本特征选择
• 3.4.1 非规范文本
• 3.4.2 主观性文本
• 3.4.3 客观性文本
• 3.4.4 特征选取
• 3.5 分类流程
• 4 非规范语言处理
• 4.1 基础资源构造
• 4.1.1 网络蜘蛛的构建及语料获取
• 4.1.2 非规范词典的构建
• 4.2 非规范语言的形式和类别
• 4.3 处理方法介绍
• 5 正规化处理具体实现
• 5.1 处理流程
• 5.2 典型非规范语言处理
• 5.2.1 处理的难点
• 5.2.2 序列覆盖算法
• 5.2.3 构造算法
• 5.3 歧义非规范词语处理
• 5.3.1 难点分析
• 5.3.2 解决方法
• 5.3.3 特征选取
• 5.3.4 序列核概念
• 5.4 歧义非规范语言处理方法
• 6 实验
• 6.1 评测概述
• 6.2 主客观分类实验
• 6.2.1 实验语料
• 6.2.2 实验结果及分析
• 6.3 非规范语言处理实验
• 6.3.1 实验语料
• 6.3.2 实验结果及分析
• 7 总结和展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文
• 上海交通大学学位论文答辩决议书