基于P2P可伸缩架构的大数据分析平台研究与实现

论文摘要

随着互联网应用的飞速发展和信息的社会化，数据呈爆发式的增长，传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈，所以必须研究新的有效的大数据分析平台。大数据技术目前还没成熟，也没形成统一标准，但工业界已经广泛使用Hadoop作为其大数据处理平台，这也带动了国内学术界对Hadoop相关技术研究。除了Hadoop外，NoSQL相关技术也得到较快发展，涌现了一批优秀的开源项目，如HBase和Cassandra等都被工业界广泛应用。本文基于国家核高基科技重大专项——非结构化数据管理系统LaUDMS来研究和实现对大数据的处理分析相关技术。非结构化数据管理系统LaUDMS重点就是深入研究大数据的存储和分析技术，并结合理论和实践来解决对大规模非结构化数据的管理难题。本文首先对大数据处理分析平台的研究现状进行了综述；其次在综合比较分析现有平台优缺点的基础上介绍了非结构化数据管理系统LaUDMS的内核清华知云Kloud的平台架构；再次是清华知云Kloud中的大数据分析平台的技术研究和实现。技术研究包括深入分析了分布式数据仓库Hive的设计和组件，并将其融合到基于P2P架构的Cassandra内部实现中；为实现Hive组件完全融合到Cassandra中，定义了基于Cassandra自由表的面向对象数据模型来存取Hive的元数据信息；为提高自由表访问效率，描述了基于Cassandra自由表的辅助索引设计和实现，并且将其融合到Hive的分布式索引插件框架中，实现Hive分析的性能优化。该大数据分析平台实现后对某网站用户访问日志进行了实验分析，性能和可用性得到相应的提升，取得良好效果。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景与意义
• 1.2 大数据平台架构分类
• 1.2.1 基于 Master-Slave 主从式架构的平台
• 1.2.2 基于 P2P 可伸缩架构的平台
• 1.3 主要工作及贡献
• 1.4 论文的结构安排
• 第2章 相关工作
• 2.1 大数据分析平台体系架构研究
• 2.1.1 HadoopDB-并行数据库和 MapReduce 的融合
• 2.1.2 epiC-同时支持 OLTP 和 OLAP 的弹性云计算平台
• 2.1.3 Brisk-Cassandra 与 Hadoop 的融合之作
• 2.2 基于自由表的面向对象数据模型
• 2.2.1 自由表结构
• 2.2.2 JDO/JPA 的标准接口实现
• 2.3 基于自由表的辅助索引
• 2.3.1 辅助索引-行键存储
• 2.3.2 辅助索引-数据存储
• 2.4 本章小结
• 第3章 基于 Cassandra 的知云平台体系结构
• 3.1 知云平台体系架构
• 3.2 知云平台的分布式存储
• 3.2.1 自由表存储
• 3.2.2 分布式文件系统
• 3.3 知云平台的分布式计算框架
• 3.3.1 JobTrakcer 和 TaskTracker 运行在 Cassandra 上
• 3.3.2 知云平台节点 OLAP 和 OLTP 服务的配置和切换
• 3.4 本章小结
• 第4章 知云中的大数据分析平台实现
• 4.1 Hive 与 Cassandra 融合组件分析
• 4.1.1 Cassandra CQL 引擎和 Hive Driver 引擎的融合
• 4.1.2 Hive 元数据存储到 Cassandra 自由表中
• 4.2 基于 Cassandra 自由表的面向对象数据模型
• 4.2.1 对象-关系在自由表数据模型上的映射
• 4.2.2 实现基于 Cassandra 自由表的面向对象数据模型
• 4.3 知云平台和 Hive 的结合
• 4.3.1 易用的大数据分析平台
• 4.3.2 可分析的大数据格式多样化
• 4.4 实验结果与分析
• 4.4.1 实验环境
• 4.4.2 实验结果
• 4.5 本章小结
• 第5章 基于 Cassandra 自由表的辅助索引设计和实现
• 5.1 辅助索引设计
• 5.1.1 辅助索引格式
• 5.1.2 辅助索引并发更新机制
• 5.2 辅助索引实现
• 5.2.1 辅助索引管理
• 5.2.2 辅助索引查询
• 5.3 辅助索引在知云大数据分析平台的应用
• 5.3.1 Hive 分布式索引框架解析
• 5.3.2 实现 Hive 分布式索引框架下的辅助索引插件
• 5.4 实验结果与分析
• 5.4.1 实验环境
• 5.4.2 实验结果
• 5.5 本章小结
• 第6章 总结与展望
• 6.1 论文工作总结
• 6.2 论文工作展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果