论文摘要
随着云计算研究的兴起,云中计算资源和存储资源的优点不断被发掘,主要包括：分布式、大规模、动态性等。因此,越来越多的应用系统开始向云平台进行迁移。然而云平台与传统单或多服务器模式的区别也给系统开发带来了一定挑战。本文依托于国家海洋公益项目,研究并实现了基于HBase的海洋信息查询系统,使用户可通过图形接口检索海风、卫星图片等信息。通过对查询技术的有效应用,系统可以高效地从海量数据信息中提取用户关心的海洋基本数据信息,便于利用该信息为渔业生产和海洋灾害预防进行服务。基于HBase的海洋信息查询系统框架分为三个层次：数据存储层、数据处理层和操作与显示层。数据存储层采用HBase与HDFS进行实现,其中利用HBase对文本信息进行存储,HDFS对图片信息进行存储；数据处理层是本文的实现重点,该层实现了海洋信息数据的上传与下载功能,针对用户输入的条件对数据进行查询；操作与显示层则采用Java Swing实现了系统与用户的交互窗口,用户可通过该窗口输入查询条件,观察查询结果,对结果进行进一步操作。在海洋信息查询系统实现过程中,本文对查询优化技术进行了研究与改进。首先在NearGoos气象数据查询过程中,采用B-order值的算法对二维空间数据进行划分,结合HBase数据表中rowkey的排序特点,对空间查询进行优化,使查询效率有了两个数量级的提升；而在实现MODIS空间查询时,本文采用了射线法用于判断空间查询条件与MODIS图像的位置关系,并对其进行实现；最后在操作显示层实现时,采用生成缩略图的方式解决Java显示图片占用内存过大的问题。本文首先结合查询系统的运行示例对查询系统进行展示,然后对系统中使用的HBase查询优化技术进行测试与分析,验证了其良好的可扩展性和可用性,最后对海洋信息查询系统进行性能测试,结果表明其在云环境中具有高可扩展性与高可靠性。
论文目录
摘要ABSTRACT第1章 绪论1.1 课题研究背景1.2 课题研究的意义与目的1.3 本文的研究内容1.4 本文组织结构第2章 相关研究工作2.1 开源云计算系统Hadoop2.1.1 Hadoop文件系统2.1.2 MapReduce编程模型2.1.3 Cloudera Hadoop2.2 分布式系统的可靠协调系统Zookeeper2.3 开源分布式数据库HBase2.3.1 HBase中的数据模型2.3.2 HBase逻辑视图及表结构2.3.3 HBase物理存储结构2.3.4 HBase系统架构2.4 分布式数据仓库Hive2.5 本章小结第3章 查询系统需求分析3.1 系统实现目标3.2 功能性需求分析3.2.1 数据格式3.2.2 数据的加载3.2.3 MODIS信息查询3.2.4 NearGoos气象信息查询3.2.5 MODIS图像的显示3.2.6 显示图像的调整3.3 非功能性需求3.4 本章小结第4章 海洋信息查询系统的设计与实现4.1 海洋信息查询处理系统总体框架的设计4.1.1 设计思想4.1.2 系统框架4.2 数据存储层的设计与实现4.2.1 MODIS数据的存储设计与实现4.2.2 海洋气象数据存储的设计与实现4.3 数据处理层的设计与实现4.3.1 MODIS功能实现4.3.2 NearGoos气象数据功能实现4.4 操作与显示层的设计与实现4.4.1 MODIS图形用户接口4.4.2 Near-Goos气象数据查询结果显示4.5 为数据分析提供类SQL的接口4.6 关系型数据库与HBase数据转换4.7 本章小结第5章 算法设计与应用5.1 空间查询优化5.1.1 基于B-order值的空间关键字查询算法5.1.2 空间填充曲线5.1.3 Rowkey合并技术5.1.4 时间和空间查询的优化处理5.2 MODIS数据空间查询的进一步研究5.3 本章小结第6章 实验与性能分析6.1 实验环境配置6.2 基于HBase的海洋信息查询系统运行示例6.3 基于B-order值空间查询技术的测试及性能分析6.4 对rowkey合并算法进行性能测试6.5 空间与时间查询性能测试6.6 HDFS性能测试6.6.1 DataNode数量对HDFS传输效率的影响6.6.2 主从结点对HDFS传输效率的影响6.7 本章小结第7章 总结与展望7.1 总结7.2 展望参考文献致谢攻读硕士期间发表的论文和参加的项目
相关论文文献
标签：云计算论文; 海洋信息论文; 时空数据论文;
