点击流数据仓库构建方案研究与实现

论文摘要

电子商务网站每天都产生大量的点击流数据。它们中包含很多对企业非常有用的信息,例如,客户的来源、客户的行为、客户的兴趣等。对这些数据进行有效的分析,不但能够对电子商务网站的建设起到指导作用,增强网站的粘着度,而且也能够反映出企业在市场、销售、服务和财务等各个方面的状况。总之,对这些数据进行深层次分析,能够使电子商务网站的拥有者改善客户关系、充分提高企业在市场销售和服务等各个方面的质量。本文是建立在购物网站系统之上的一个实验性点击流数据仓库项目。以该网站系统为例,确定分析主题并基于多维建模思想建立各种不同粒度的数据集市;在分析了各种点击流数据源后,本文完整提出一个ETL体系结构,包括ETL调度方案,数据预处理方法,传统仓库ETL工具,后置模式装载机制。最后对点击流数据进行联机分析,展示点击流的价值。该点击流数据仓库构建方案不仅能提供网站信息分析,并且支持日志数据仓库基础上的用户使用模式的深层次挖掘和销售分析。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 点击流数据仓库的概念与特点
• 1.2 点击流数据仓库不同之处
• 1.3 目前研究现状
• 1.4 研究重点
• 1.5 组织结构
• 第二章 日志分析技术的发展过程
• 2.1 网站信息分析
• 2.2 过滤技术
• 2.3 Web 使用情况挖掘
• 2.4 点击流数据仓库
• 2.5 未来研究方向
• 第三章 点击流数据仓库的需求分析
• 3.1 购物网站介绍
• 3.2 系统目标和分析主题设计
• 第四章 点击流数据仓库的多维建模及体系结构设计
• 4.1 多维建模概述
• 4.2 点击流数据仓库总线结构设计
• 4.3 点击流数据仓库体系结构
• 4.4 一致性维度
• 4.4.1 用户时间和日期维度
• site_geography）'>4.4.2 站点地理维（d_site_geography）
• user）'>4.4.3 用户维（d_user）
• promotion）'>4.4.4 促销维（d_promotion）
• geography）'>4.4.5 物理地理维（d_geography）
• product）'>4.4.6 产品维（d_product）
• 4.5 建立不同粒度的数据集市
• 4.5.1 页面活动数据集市
• 4.5.2 会话数据数据集市
• 4.5.3 销售交易数据集市
• 第五章 点击流数据仓库ETL 的设计与实现
• 5.1 点击流ETL 组件概述
• 5.2 点击流ETL 体系结构
• 5.2.1 数据流程图
• 5.2.2 调度方案
• 5.2.3 ETL 工具简介
• 5.3 点击流数据仓库数据源
• 5.3.1 web 服务器日志
• 5.3.2 cookie
• 5.3.3 站点内容信息
• 5.4 点击流数据预处理
• 5.4.1 过滤记录
• 5.4.2 分析记录
• 5.4.3 页面标识
• 5.4.4 用户标识
• 5.4.5 会话识别
• 5.5 加载维表和事实表
• 5.5.1 用户时间和日期维度
• 5.5.2 站点地理维
• 5.5.3 用户维
• 5.5.4 产品维和促销维
• 5.5.5 物理地理维
• 5.5.6 页面活动事实表
• 5.5.7 会话活动事实表
• 5.5.8 销售交易事实表
• 第六章 基于仓库的点击流数据分析
• 6.1 多维数据集
• 6.1.1 概述
• 6.1.2 设计多维数据集
• 6.2 OLAP 多维数据分析
• 6.2.1 OLAP 分析基本操作
• 6.2.2 报表展示
• 总结
• 参考文献
• 致谢