基于测评基准的应用软件测评系统

论文摘要

一个应用领域往往有多种功能相似的软件产品,但由于缺乏统一的测评基准,对于产品的质量和发展状况只能进行粗粒度的定性估计,基本上以专家评判为主。缺乏同类产品质量的基准对比,无法提供精确的可量化的数据,这些定性的评判无法帮助用户准确的了解产品,也无法支持软件企业不断提高产品的质量。基于测评基准的应用软件产品测评包括以下方面：通过分析特定领域历史测评数据,建立特定领域应用软件基准模型；通过基准测试数据的不断积累,建立特定领域应用软件测评基准；使用基准模型进行领域软件质量竞争性比对,将基准测评对象的测评结果与基准中的行业“最佳实践方案”与行业“平均水平”进行比对,帮助企业及时发现产品的缺点,并以“最佳实践方案”为目标,推重软件质量的提同。本文以上海市计算机软件技术开发中心国家火炬计划项目和上海市软件测评重点实验室开放课题“面向领域的软件产品测试基准库建设与应用”为背景,给出了面向特定领域应用软件基准测试的定义,建立了面向特定领域应用软件基准模型与评价模型的形式化定义、基准模型构造方法、基准测试的流程。通过分析领域软件质量需求、分析领域特征、依据GB/T 16260-2006和GB/T 18905-2002两个软件产品质量标准及特定领域的相关标准,构造特定领域基准测试的基本基和扩展基,并选取合适的扩展基和基本基一起构成领域软件质量属性,软件质量属性按照特性-子特性-属性树形结构来组织,同时确定软件质量属性对软件质量的贡献度,即可构成特定领域的基准模型。基准测试分为测试准备、综合测评、基准比对、结果解释四个阶段。针对领域专家对基准模型主观因素的影响、基准比对过程中数据的不一致性,本文提出了基于历史测评数据的基准模型动态修正方法和基于灰色关联分析的基准测评改进方法。使用粗糙集理论,分析历史测评数据,进行质量属性贡献度动态修正,既克服了领域专家对基准模型主观因素的影响,也达到了测评基准数据驱动软件质量改进的目的。灰色关联分析方法,使用同一个基准模型,对基准测评对象和参照对象同时进行基准测评,并进行基准比对,这样充分考虑了基准测评对象之间的关系以及基准对象和领域中其它软件对象之间的关系。本文在分析基准模型建立及基准测试过程中涉及的数据及其关系的基础上,给出了基于测评基准的应用软件产品测评方法在办公自动化领域的应用实例。使用WCF框架作为通信机制、JSON作为数据通信格式、ExtJS作为数据视图的展现手段,设计并开发了基于测评基准的应用软件产品测评原型系统。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究内容和方法
• 1.3 本文结构
• 第2章 软件质量评估与基准测试
• 2.1 背景与现状
• 2.2 软件质量度量
• 2.3 软件产品评价
• 2.4 软件基准测试
• 2.5 软件质量量化度量方法
• 2.6 特定领域应用软件的体系结构
• 2.7 小结
• 第3章 面向特定领域应用软件的基准模型
• 3.1 应用软件的领域特征和基准测试的定义
• 3.2 特定领域应用软件的基准模型
• 3.3 基准模型实例—OAs基准模型
• 3.4 小结
• 第4章 特定领域的应用软件基准测试
• 4.1 基准测试准备
• 4.2 基准综合测评
• 4.3 基准比对
• 4.4 结果解释
• 4.5 基准测试实例—OAs基准测试
• 4.6 基准模型与基准测试
• 4.7 小结
• 第5章 基于历史测评数据的基准模型动态修正
• 5.1 粗糙集理论概述
• 5.2 基准测试系统的定义
• 5.3 确定基准系统中软件样本集的正负域
• 5.4 确定软件质量属性层次之间的依赖关系
• 5.5 确定软件质量属性的权值
• 5.6 基准样本数据的离散处理
• 5.7 算法设计
• 5.8 基准模型动态修正实例—OAs基准模型的修正
• 5.9 小结
• 第6章 基于灰色关联分析的基准测评方法改进
• 6.1 灰色关联分析方法概述
• 6.2 基于灰色关联分析的基准测评方法
• 6.4 基于灰色关联基准测评的算法设计
• 6.5 基准测评方法改进的应用实例-OAs基准准测试
• 6.6 小结
• 第7章 基于测评基准的应用软件测评原型系统
• 7.1 原型系统整体结构
• 7.2 原型系统的功能结构
• 7.3 原型系统的设计与实现
• 7.4 小结
• 第8章 总结与展望
• 8.1 总结
• 8.2 展望
• 参考文献
• 攻读硕士期间的研究成果
• 致谢