基于支持向量机的博客作者信息挖掘软件

论文摘要

博客挖掘作为数据挖掘的一个具体应用领域，近年来受到了广泛的关注。现有的研究主要集中在意见挖掘、社区挖掘、博客搜索等方面，关于兴趣、性格挖掘的研究相对比较少。如今是一个强调个性化服务的时代，获取用户的个人信息，如兴趣、性格等，势必能够为个性化服务提供决策支持。因此，博客作者个人信息的挖掘显得越来越重要。本文的研究目的就是为了挖掘博客作者的个人信息，主要识别博客作者的兴趣和性格，从而为服务商了解用户感兴趣的事物以及应该采用何种方式与用户交流沟通，实现用户与服务商之间的双赢。本文的研究主要基于自然语言处理技术、文本分类技术以及机器学习技术，从博客文章主题分类、博客作者兴趣分类和博客作者性格分类三方面展开研究，通过分析博客作者的全部文章去识别作者的兴趣集合以及性格类型，本文最后实现了上述博客作者兴趣分类和性格分类系统原型。主要的创新点包括：（1）提出了基于博客标签（Folksonomy）统计的未登录词和惯用语识别方法和博客文章分类样本数据去噪的方法，并结合博客内容由标题、标签、类别、首段、末段以及正文等文章要素组成的结构特点，根据综合评价模型G1法改进特征权值计算方法，改善了博客文章主题分类的效果。（2）与已有的研究相比，本文的博客作者兴趣挖掘从数据采集到效果预测基本上不需要人工干预，大大降低了样本标注的人力开销，同时引入了一种新的评价标准交集非空，通过稍微地扩展预测兴趣集合的大小，可以显著地提高兴趣预测的交集非空率，兴趣集合大小为2时达到77.0%。（3）本文在大五类性格标准基础上对网易博客作者外向和内向两种性格进行分类研究，从性格分类特征和特征选择方法两方面改进博客作者性格分类的效果，准确率达到77.7%，分别比基线准确率和信息增益方法的准确率提高了25.8%和16.4%，该方法为中文博客作者的其他性格分类提供借鉴。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 国内外研究状况
• 1.3 文本分类
• 1.3.1 文本表示
• 1.3.2 文本分类算法
• 1.4 本文的主要研究工作
• 1.5 本文的组织方式
• 第二章 博客文章主题分类
• 2.1 博客数据获取
• 2.2 博客文本去噪
• 2.3 未登录词和惯用语识别
• 2.4 文本特征提取
• 2.5 博客文本表示
• 2.6 实验设计与结果分析
• 2.6.1 识别未登录词对博客分类的影响
• 2.6.2 文章要素对博客分类的影响
• 2.7 本章小结
• 第三章 博客作者兴趣分类
• 3.1 数据准备
• 3.2 兴趣分类的具体流程
• 3.3 兴趣分类效果评估
• 3.4 兴趣分类的实验结果
• 3.5 本章小结
• 第四章 博客作者性格分类
• 4.1 数据准备
• 4.2 分类特征
• 4.2.1 主题特征
• 4.2.2 博客风格特征
• 4.2.3 博客行为特征
• 4.3 特征选择
• 4.4 特征权值计算
• 4.5 性格分类
• 4.6 本章小结
• 第五章 博客作者信息挖掘系统的实现
• 5.1 系统结构分析
• 5.1.1 系统功能分析
• 5.1.2 系统流程分析
• 5.2 系统设计
• 5.2.1 开发环境
• 5.2.2 数据库设计
• 5.3 系统运行效果
• 5.3.1 系统前台
• 5.3.2 系统后台
• 5.4 本章小结
• 总结与展望
• 6.1 研究总结
• 6.2 下一步工作
• 参考文献
• 攻读硕士学位期间取得的研究成果
• 致谢