中文产品评论观点抽取方法研究

论文摘要

随着电子商务和web 2.0应用的发展,越来越多的消费者在购买和使用产品之后,喜欢在电子商务网站、论坛、博客发表对产品的观点态度,这些评论包含了用户对产品的特征,功能,性能等的看法,消费者在购买产品之前总会咨询别人对产品的意见从而做出明智的购买决定,厂家也可以根据用户的评论来改进产品,人工的去浏览这些海量产品评论是费时和低效的,并且还有滞后性和片面性。近来,如何对大量的非结构化的网络产品评论自动的进行观点抽取成为了一个研究热点。本文针对情感观点抽取资源的构建、产品属性特征的抽取、属性特征词与情感词的搭配识别及极性判定进行了深入研究,本文的主要研究工作如下:(1)利用开源工具Larbin和Xpath,针对购物网站的手机频道进行定向爬虫,并根据网页格式利用Xpath进行元数据抽取,最终构建手机评论语料库。(2)在构建情感观点抽取资源方面,提出了基于百度百科的基础情感词典构建方法、基于连词词典和依存句法关系相结合的领域情感词典方法、网络情感词典、情感修饰词典的构建方法。(3)在产品属性特征抽取方面,提出了基于规则和统计的识别算法和基于CRF的属性特征改进识别算法来抽取产品属性特征,前者的准确率达到0.56,覆盖率达到0.73,而后者的准确率更高,为0.78,但覆盖度仅0.46,为了与其他研究者进行比较,将Hu和Liu的方法应用到本实验环境,实验表明本文的两种方法好于Hu和Liu的方法。(4)在属性特征与情感词搭配识别及极性判定方面,提出了基于SVM搭配识别算法,并与最近邻匹配算法、基于依存句法搭配识别算法做了对比实验, SVM搭配识别算法的准确率达到0.83,覆盖率达到0.62,F值为0.71,远远高于其他两种方法,取得了最好的性能。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 选题意义
• 1.3 国内外研究现状及存在的问题
• 1.3.1 产品评论观点抽取的研究现状
• 1.3.2 当前研究存在的问题
• 1.4 论文的主要工作
• 1.5 论文的组织结构
• 第二章 文本倾向性分析相关技术
• 2.1 文本情感分类定义
• 2.2 文本情感分类一般流程
• 2.3 文本情感分类的关键技术
• 2.4 文本情感分类评估标准
• 2.5 文本情感分类的应用
• 2.6 本章小结
• 第三章 情感观点抽取资源构建
• 3.1 语料库构建
• 3.1.1 网络爬虫
• 3.1.2 网页元数据抽取
• 3.1.3 语料标注
• 3.2 情感词典构建
• 3.2.1 基础情感词典构建
• 3.2.2 领域情感词典构建
• 3.2.3 网络情感词典构建
• 3.2.4 情感词的倾向性计算
• 3.3 情感修饰成分词典构建
• 3.3.1 程度副词词典
• 3.3.2 否定词词典
• 3.4 本章小结
• 第四章 产品属性特征的抽取
• 4.1 基于规则和统计的产品属性特征抽取
• 4.1.1 候选属性词集的产生
• 4.1.2 非属性词的过滤
• 4.2 基于条件随机场的产品属性特征抽取
• 4.2.1 条件随机场理论简介
• 4.2.2 属性特征抽取
• 4.3 实验及分析
• 4.3.1 基于规则和统计的属性特征实验
• 4.3.2 基于 CRF 的属性特征抽取实验
• 4.3.3 实验分析
• 4.4 本章小结
• 第五章 产品属性特征的倾向性分析
• 5.1 最近邻匹配算法
• 5.2 基于句法分析的搭配识别算法
• 5.2.1 LTP 简介
• 5.2.2 Deparser 句法分析器
• 5.2.3 算法描述
• 5.3 基于支持向量机的搭配识别算法
• 5.3.1 支持向量机原理
• 5.3.2 算法流程图
• 5.3.3 特征选择
• 5.3.4 训练集的生成
• 5.3.5 模型训练
• 5.3.6 后处理模块
• 5.4 实验及分析
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 后续工作展望
• 参考文献
• 攻读学位期间主要的研究成果
• 致谢