基于数据仓库的警情数据分析系统研究与实现

论文摘要

数据仓库、OLAP分析和数据挖掘技术是新兴的数据管理和分析技术,其应用也越来越广泛,但目前在公安领域的应用还不多。本课题就是以满足公安指挥中心对辅助决策信息方面的需求为目的,以业务信息系统中的历史数据为基础,通过微软的BI开发平台,利用数据仓库、OLAP分析和数据挖掘技术为手段通过分析接处警数据获取辅助决策信息,是实现警务指挥向更高层次转变的一种尝试。警情数据分析系统能提供大量的辅助决策信息,并提升指挥中心对社会治安状况的研判能力,提高指挥效率和对社会治安状况的防控能力。该系统是以数据仓库、OLAP和数据挖掘技术为核心构建的。数据仓库是进行数据分析的基础,但只是提供被分析的数据,因而还必须有强有力的分析和决策工具。OLAP是基于多维数据仓库的专用分析型操作技术。关联规则挖掘致力于知识发现,它能通过支持度和置信度指标挖掘出数据库中有趣的规则,在警情数据分析中可以挖掘出反映社会治安动态的规则,这些规则可以直接指导日常警务的安排。综合利用这两种数据分析工具,管理者可以从不同的观察角度和形式对数据进行深入分析和观察。本文在深入学习、研究数据仓库、OLAP技术和关联规则挖掘技术原理和开发方法的同时,针对公安指挥中心的需要,设计了警情数据分析系统。系统在指挥中心使用的110接处警系统的基础上,将业务数据库的数据通过抽取转换建立警情数据仓库,决策者根据实际需要可以选择面向不同的主题使用联机分析处理和数据挖掘工具分析数据,从而为管理者提供了分析型信息和一定的决策支持,是面向应用的一种探索性课题。本文在对业务数据结构和工作需求进行全面分析的前提下,确定以接警量为数据仓库的主题,并设计了相关因素的星型模式。解决了数据集成过程中案件地址的一致性问题,设计了完整的数据抽取、转换和加载流程,构建了警情数据仓库。利用SSAS技术实现了对警情数据的OLAP分析,并在OLAP分析的基础上改进了关联规则挖掘算法。利用平均数据单元支持度解决了不同层支持度阈值应设置不同的问题,设计并实现了基于OLAP的多维多层关联规则挖掘算法。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 背景与意义
• 1.2 研究现状
• 1.3 研究内容
• 1.4 文章结构
• 第二章 相关技术
• 2.1 数据仓库
• 2.1.1 数据仓库的特点
• 2.1.2 数据模型
• 2.2 联机分析处理（OLAP）
• 2.2.1 OLAP 的功能
• 2.2.2 基本概念
• 2.2.3 OLAP 分析操作
• 2.3 关联规则挖掘技术
• 2.3.1 关联规则分类
• 2.3.2 挖掘步骤
• 第三章 警情数据分析系统
• 3.1 警务指挥智能化的学习周期
• 3.2 警情数据分析需求
• 3.3 警情数据分析系统框架
• 第四章 警情数据仓库与OLAP 分析
• 4.1 “110 三台合一”接处警指挥调度系统分析
• 4.2 多维数据模型设计
• 4.2.1 实体分类
• 4.2.2 确定事实
• 4.2.3 增加时间维度
• 4.2.4 设计维度
• 4.2.5 警情数据星形模型
• 4.3 数据抽取、转换和加载流程
• 4.3.1 ETL 的主要工作
• 4.3.2 ETL 主流程
• 4.3.3 维度表的处理
• 4.3.4 实事表的处理
• 4.4 OLAP 实现
• 4.4.1 OLAP 模型和OLAP 多维数据集
• 4.4.2 多维数据集设计
• 4.4.3 维度
• 4.4.4 数据存储模式
• 4.5 分析展示
• 第五章 警情数据关联规则分析
• 5.1 基本概念
• 5.2 Apriori 关联规则挖掘
• 5.3 基于OLAP 的多维关联规则挖掘模型
• 5.4 利用OLAP 改进事务计数过程
• 5.4.1 算法思想
• 5.4.2 算法效率分析
• 5.5 利用OLAP 查询替换Apriori 迭代
• 5.5.1 算法思想
• 5.5.2 算法效率分析
• 5.5.3 算法性能分析
• 5.6 OLAP 多维多层关联规则挖掘
• 5.6.1 带层次关联规则挖掘面临的主要问题
• 5.6.2 立方体数据单元平均支持度
• 5.6.3 OLAP 多维多层关联规则的实现
• 5.6.4 算法效率分析
• 5.6.5 算法性能分析
• 5.7 警情数据仓库挖掘结果分析
• 第六章 总结
• 参考文献
• 发表论文和参加科研情况说明
• 致谢