远洋船舶调度数据挖掘技术研究与应用

论文摘要

数据挖掘作为知识发现过程中的重要步骤,是从大型数据库及数据仓库中提取未知的、有价值的和可操作性的关系、模式和趋势用于决策支持的过程。随着船岸通信技术及计算机存储设备的快速发展,在航运企业中出现了海量的船舶调度数据,如何充分利用数据挖掘技术来分析隐含在船舶调度数据内部的规律是海上智能运输研究领域中的一个值得关注的问题。本文主要研究数据挖掘技术在远洋船舶调度相关问题中的应用,结合数据挖掘中关联分析、数据约简、决策规则获取等算法特点,着重探讨了在全球港口货物装卸分析、船舶航线货物分析、船舶营运油耗分析中的应用。为了使数据更高效地进行挖掘分析,对船舶调度数据仓库的结构与应用进行探讨与设计,最后与各种数据挖掘应用形成一个船舶调度数据挖掘体系。主要研究内容和取得的研究成果如下:(1)本文通过调研我国船公司的调度业务,建立面向全球港口货物装卸分析、货物流向分析、船舶节能分析等不同主题的船舶调度数据仓库的结构模型,并对其结构、功能及数据存储模型和实现技术进行研究,从而对海量船舶调度数据进行管理与分析,为后续的挖掘算法提供数据支持。随后建立包括数据层、组织层、挖掘层和决策层的船舶调度数据挖掘体系,各层承担着船舶调度数据挖掘不同阶段的任务,从数据预处理、数据挖掘到知识表达,形成了一个完整的体系。(2)针对关联规则挖掘过程中需要多次搜索数据表的问题,分析了粗糙集和关联规则的联系,在单维粗糙集关联算法的启发下,提出了一种基于粗糙集等价类的多维关联算法,将多维频繁项集的求取,转换为多属性的等价类的计算,该算法产生的多维频繁项集只包含用户关心的维度,排除了其他维度的干扰,因而在规则获取方面,更能产生满足用户需求的规则。同时,相比Apriori算法减少了数据库扫描次数,因而提高了算法效率,降低了关联规则的挖掘时间。(3)研究了多维数据关联规则挖掘算法在船舶航线货物分析中的应用问题。远洋船舶货物运输的实质就是货物在时空上的一个转移过程,考虑到船舶在一个港口可能装载多种货物,然后在不同港口分别卸货的实际情况,将货物维数据从事务数据库转换到信息系统,然后运用本文提出的基于粗糙集等价类的多维关联算法分析船舶航线、船型、货物以及时间维之间的关系,得到了航线船型分布、航线货物流向等船公司感兴趣的规则,也验证了本文提出的算法实用性。(4)给出了一种计算正域的改进算法。正域是粗糙集中一个重要的基本概念,依赖度和分类质量的属性约简算法及属性重要度的计算都涉及到正域求解,本文深入分析了正域的定义特点,根据算法中先前的计算结果,及时删除不需要比较的对象,可以大大降低后续计算中物标对的组合数,从而减少计算量,提高计算效率。利用来自UCI(University of California Irvine)的机器学习数据集测试,结果证明该算法相比经典的正域求取算法,效率明显提高,针对大数据集效率提升更为明显。(5)众所周知,求所有最小属性的约简是NP问题,本文提出一种以属性多样性为启发条件的基于分类能力的启发式算法,简化了启发式条件,用分类能力计算替换正域计算,相比基于正域的属性约简算法,提高了算法的效率。利用来自UCI的机器学习数据集测试,结果证明该算法相比经典的正域求取算法,效率有明显提高。(6)船舶营运油耗是一个受多因素影响的综合性过程,需要对船舶营运中油耗因素展开分析。然而在实际调度报文中,船舶营运油耗的某些属性的属性值存在遗失,是不完备的,因此本文首先将营运油耗数据的属性值完备化,然后利用计算正域改进算法确定船舶营运过程中油耗的主要因素,利用粗糙集属性约简算法对油耗属性进行约简,从而获得有意义的决策规则,为船舶营运过程制定合理节能措施提供理论依据。最后,对全文进行了总结,并对有待进一步研究的问题进行了展望。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 引言
• 1.2 船舶调度相关知识介绍
• 1.3 数据挖掘综述
• 1.3.1 数据挖掘概述
• 1.3.2 数据挖掘步骤
• 1.3.3 数据挖掘方法
• 1.4 数据挖掘在交通行业中的应用
• 1.5 远洋船舶调度数据的特点与粗糙集理论
• 1.6 本文主要研究内容
• 第2章 粗糙集理论
• 2.1 知识表达系统
• 2.1.1 信息系统与决策系统
• 2.1.2 知识表示形式
• 2.2 粗糙集理论基本知识
• 2.2.1 知识与分类
• 2.2.2 集合的上近似、下近似
• 2.2.3 知识的简化和核、相对简化和相对核
• 2.2.4 知识的依赖性
• 2.2.5 属性的重要性
• 2.2.6 决策规则
• 2.3 粗糙集与其他不确定性理论的比较
• 2.3.1 粗糙集与模糊集
• 2.3.2 粗糙集与概率统计方法
• 2.3.3 粗糙集与Dempster-shafer证据理论
• 2.4 粗糙集的理论研究及应用现状
• 2.4.1 粗糙集的理论研究
• 2.4.2 粗糙集的应用研究
• 2.5 本章小结
• 第3章 船舶调度数据仓库及挖掘体系
• 3.1 引言
• 3.2 数据仓库的基本概念
• 3.2.1 数据仓库的定义
• 3.2.2 关系型数据库与数据仓库的区别
• 3.3 船舶调度数据仓库建模
• 3.3.1 船舶调度数据仓库概念模型设计
• 3.3.2 船舶调度数据仓库逻辑模型设计
• 3.3.3 船舶调度数据仓库物理模型设计
• 3.4 船舶调度数据仓库的实现途径
• 3.5 船舶调度数据挖掘体系模型
• 3.6 面向全球港口货物装卸分析主题的数据仓库研究实例
• 3.6.1 需求分析
• 3.6.2 事实及其量度和粒度的确定
• 3.6.3 数据模型
• 3.6.4 数据分析
• 3.6.5 应用结论
• 3.7 小结
• 第4章 基于粗糙集的远洋航线与货物流向规律分析
• 4.1 引言
• 4.2 关联规则研究
• 4.2.1 关联规则基本概念
• 4.2.2 关联规则技术研究现状
• 4.2.3 粗糙集理论应用于关联规则挖掘的优势
• 4.3 基于粗糙集的关联算法
• 4.3.1 关联规则与粗糙集的联系
• 4.3.2 基于粗糙集的单维关联规则挖掘
• 4.3.3 基于粗糙集的远洋货物运输多维关联规则挖掘
• 4.4 航线布局与货物流向分析研究实例
• 4.5 小结
• 第5章 基于粗糙集的船舶营运油耗分析
• 5.1 引言
• 5.2 现有几种典型的属性约简算法及其分析
• 5.2.1 基于差别函数的算法
• 5.2.2 基于依赖度的算法
• 5.2.3 基于分类质量的算法
• 5.2.4 基于信息熵的算法
• 5.2.5 基于差别矩阵中属性频率的算法
• 5.2.6 算法分析
• 5.3 一种基于正域的启发式属性约简改进算法
• 5.3.1 正域求解经典算法
• 5.3.2 正域求解改进算法及基于正域的属性约简算法
• 5.3.3 算法分析及试验结果
• 5.4 一种基于分类能力的新属性约简启发式算法
• 5.4.1 分类能力的定义
• 5.4.2 属性重要性度量方法
• 5.4.3 基于分类能力的属性多样性启发式算法
• 5.4.4 算法分析及试验结果
• 5.5 船舶耗油分析
• 5.5.1 船舶油耗数据来源
• 5.5.2 船舶油耗数据的预处理
• 5.5.3 船舶耗油因素的重要性计算及约简
• 5.5.4 船舶油耗研究实例
• 5.5.5 船舶耗油决策规则
• 5.6 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 攻读学位期间公开发表论文
• 致谢
• 研究生履历