基于微博的社会化媒体分析系统的设计与实现

论文摘要

随着新媒体的不断创新和发展,微博作为近两年迅速发展的互联网新生力量,新增用户数量逐渐增多。微博客在互联网的流行以及其广泛的用户群基础,受到许多企业的广泛关注。企业迫切需要一类基于微博的产品来帮助自己在微博平台上从事相关的商业开发。因而,企业对微博的实时监测尤为重要。本文基于新浪微博平台,分析了目前市场上已有相关产品的优点和不足之处,应用面向对象的程序设计思想,对基于微博的社会化媒体分析进行了探讨。本文认为现有的微博监测分析产品主要存在两个问题:首先是数据更新实时性差,不能保证系统数据和新浪微博平台数据的一致;其次是数据分析的精准性,展现给用户的数据经常会夹带有大量的冗余信息。针对监测微博的基础数据实时性问题,本文采用基于Hadoop的分布式数据采集引擎给予了有效地保证。同时,分布式的集群环境在很大程度上加快了数据的处理速度,极大的提高了系统的性能。对于采集的微博源信息,利用数据分析引擎和关键词分析引擎预测其行为趋势,减少了信息的冗余度。通过规则引擎和关键词高亮显示等技术,提供了对包含特定关键词的微博数据的分类机制,有助于企业及时了解用户对某些产品或企业服务的负面言论和评价。本文以上述技术为基础,针对基于微博的社会化媒体监测分析提出了合理的解决方案,能够支持多微博账号的实时监测,全面迅速的对海量微博数据进行分析,从中发掘隐含的有价值的数据,以直观的方式展现用户粉丝、好友以及竞争对手的动态趋势,实时追踪用户感兴趣的话题,为企业决策提供了科学而可靠的依据。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源及背景
• 1.2 项目开发的目的与意义
• 1.3 与课题相关的国内外研究状况
• 1.3.1 微博研究状况
• 1.3.2 社会化媒体研究状况
• 1.3.3 社会化媒体分析领域研究状况
• 1.4 本课题研究的主要内容
• 第2章 系统需求分析与概要设计
• 2.1 开发本系统的必要性论证
• 2.2 系统实现目标
• 2.3 系统需求中部分词语及其解释
• 2.4 系统功能性需求
• 2.5 系统非功能性需求
• 2.6 系统总体设计
• 2.7 本章小结
• 第3章 系统涉及关键技术研究
• 3.1 新浪微博API 技术概述
• 3.2 Hadoop 分布式框架简介
• 3.2.1 Hadoop 总体介绍
• 3.2.2 Hadoop 基本架构
• 3.2.3 Hadoop 计算流程
• 3.3 中文分词技术
• 3.4 规则引擎与关键词高亮技术
• 3.4.1 规则引擎
• 3.4.2 关键词高亮技术
• 3.5 本章小结
• 第4章 系统详细设计与实现
• 4.1 新浪微博API 接口设计
• 4.1.1 新浪微博登录认证
• 4.1.2 获取下行数据集接口
• 4.1.3 微博访问接口
• 4.1.4 用户接口
• 4.1.5 私信接口
• 4.1.6 关注接口
• 4.1.7 微博搜索接口
• 4.2 博主模块的设计与实现
• 4.2.1 博文分析
• 4.2.2 提及我的关键词分析
• 4.2.3 我提及的关键词分析
• 4.2.4 我的私信
• 4.2.5 提到我的
• 4.2.6 我的评论
• 4.3 粉丝模块的设计与实现
• 4.3.1 粉丝分析
• 4.3.2 交互密切粉丝
• 4.3.3 交互密切陌生人
• 4.4 关注模块的设计与实现
• 4.4.1 好友分析
• 4.4.2 交互密切好友
• 4.5 话题追踪模块的设计与实现
• 4.6 本章小结
• 第5章 系统测试
• 5.1 系统测试环境
• 5.2 系统功能测试
• 5.3 系统性能测试
• 5.4 本章小结
• 结论
• 参考文献
• 致谢
• 个人简历