因子分析的研究及在AFC数据分析系统中的实现

论文摘要

统计分析软件用于对已有业务数据的分析,可以发现数据中隐藏的内在联系和潜在规律,可以有效支持各个行业的业务分析,给予决策者以有效的帮助。一般的统计软件把数据存储、数据整理、统计计算和结果显示集中单机模式上实现。这种构架模式在网络应用高度发展的今天,已不能满足实际应用需要。本文在研究和分析了当前主要的统计软件的基础上,分析了基于三层构架模式设计、开发通用统计分析软件的必要性及其相关技术优势。设计开发了符合中国国情和轨道交通AFC行业特点的数据分析系统。本文研究和实现的三层构架统计分析软件,把数据抽取、整理、统计计算和统计结果显示灵活部署在网络中不同的计算资源上,具有分布式处理技术特征,充分使用网络计算资源,提高计算性能。本文描述的主要研究工作有:1)通过对数据抽取技术的分析,采用元数据概念模型解决跨平台异构数据源数据抽取关键技术;2)在元数据概念模型中提出元数据相关信息的中文语义描述与使用,以规范的行业术语展现数据集市的数据结构信息,方便欲分析数据对象的选用;3)把部分关系运算和统计计算从宿主数据库系统剥离,降低了对业务数据库系统的资源占用;4)提出统计结果时间戳的缓存策略,以有效响应允许时间范围内的并发请求;5)以XML,格式文件定义层间接口协议,具有适用性和可修改性;6)研究和实现因子分析算法,提出其基于奇异值分解理论的改进算法,运用奇异值分解方法与主成分分析相结合的方法来寻找因子,并应用于轨道交通AFC终端设备的故障事件分析。上述研究工作1)至5)是作者参与的研究成果,6)为独立研究成果。本文研究的最终目的是设计和实现“轨道交通AFC运营管理数据分析系统”。该系统于2007年7月12日通过上海市科学技术委员会组织的科研项目验收;2007年8月7日获《科学技术成果证书》(登记号:9312007Y1168);2007年8月30日获国家版权局《计算机软件著作权登记证书》(登记号:2007SR13214)。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 统计分析软件包介绍
• 1.2.1 国外统计分析软件包的发展现状
• 1.2.2 国内统计分析软件包的发展现状
• 1.3 统计分析软件包的功能和特点
• 1.3.1 统计分析软件包的功能
• 1.3.2 统计分析软件包的技术特点
• 1.4 主要研究内容
• 1.5 本文组织结构
• 第二章 AFC数据分析系统的构架模式设计
• 2.1 三层构架模式设计
• 2.1.1 三层构架模式及各层组成元素
• 2.1.2 表示层
• 2.1.3 应用服务层
• 2.1.4 数据层
• 2.1.5 层次间接口
• 2.1.6 模块结构视图
• 2.2 技术优势
• 2.3 本章小结
• 第三章 相关技术介绍
• 3.1 数据抽取
• 3.1.1 ETL简介
• 3.1.3 数据转换技术
• 3.1.4 数据抽取器介绍
• 3.2 Socket通信
• 3.2.1 Socket通信原理
• 3.2.2 Linux面向连接的网络通信的实现
• 3.3 本章小结
• 第四章 因子分析算法与实现
• 4.1 因子分析介绍
• 4.2 因子分析模型
• 4.2.1 因子载荷的统计意义
• 4.2.2 变量共同度的统计意义
• j的方差贡献的统计意义'>4.2.3 公因子F_j的方差贡献的统计意义
• 4.3 因子提取算法
• 4.3.1 主成分法
• 4.3.2 主轴因子法
• 4.3.3 最大似然法
• 4.4 因子旋转算法
• 4.4.1 方差最大正交旋转法
• 4.4.2 Promax斜交旋转法
• 4.5 用于AFC设备故障信息因子分析的改进算法
• 4.5.1 改进背景
• 4.5.2 矩阵的奇异值分解理论
• 4.5.3 矩阵的奇异值分解在改进算法中的应用
• 4.6 本章小结
• 第五章 因子分析在通用和专用分析模块中的应用设计
• 5.1 因子分析在通用模块中的应用设计
• 5.2 因子分析在专用模块中的应用设计
• 5.3 本章小结
• 第六章 因子分析在AFC设备故障率分析中的应用
• 6.1 应用分析实例
• 6.1.1 样本分析数据
• 6.1.2 因子分析可行性验证
• 6.1.3 因子的确定以及因子载荷矩阵
• 6.1.4 因子得分矩阵
• 6.1.5 分析结论
• 6.2 两种算法结果比较
• 6.3 本章小结
• 第七章 总结与展望
• 参考资料
• 攻读学位期间发表的学术论文
• 致谢