可信软件自动测试成本与风险研究

论文摘要

软件自动测试的成本与风险是信息与管理学科研究的热点问题之一,国内外研究主要集中在两个方面,其一是通过测试技术的改进来降低测试成本与风险,如测试用例的简约,测试构件的重用等;其二是通过投资回报分析研究自动测试代价的回收过程,如ROI分析。这些研究成果为本研究提供了重要的理论基础,但这些方法对可信软件测试来说有诸多不足之处,如测试用例的简约没有考虑测试需求间复杂的关联关系,测试构件的重用没有定量描述,ROI分析没有考虑自动测试的维护代价等。论文针对可信软件特殊的测试要求,以降低测试成本,控制测试风险为目的,利用相关软件测试理论和技术,从管理科学与工程的角度研究软件测试技术的改进和测试过程的控制,其主要的研究内容如下:（1）可信软件测试需求简约研究。可信软件包括多个可信性质和属性,因此对可信软件的测试已不仅仅是功能或性能测试了,而是包括软件可信性质及其运行环境在内的综合测试,因此可信软件的测试更加全面、复杂、测试代价更大,必须对测试需求进行简约。本文提出了对可信软件测试需求进行两次简约的策略。首先考虑可信软件多个可信性质,结合McCall软件质量模型,利用层次分析法（AHP）,建立软件可信性评价指标,在评价指标指导下,利用统计假设理论进行第一次测试需求简约;然后考虑可信性质间复杂的关联交互关系,应用贪心算法和线性搜索法对测试需求进行第二次简约。实例证明,通过两次简约可得到满足可信软件测试需求的完备的、较小冗余的测试需求向量集,降低了测试成本。（2）研究可信软件自动测试的维护代价。自动测试程序和应用程序一样,需要维护才能进行反复回归测试,而这点却很容易被忽视,如Douglas Hoffman就是因为忽视了自动测试维护代价而得到片面的结论,Fewster和Graham也是因为忽视了自动测试维护代价而得到不准确的结果。本文以画板程序升级为例,结合Junit测试工具,详细介绍了它的修改过程和相应测试程序的维护代价,然后利用COCOMOⅡ度量方法,进一步说明测试程序需要反复维护才能进行回归测试。研究通过实例和理论分析说明自动测试维护代价是自动测试投入的重要组成部分,为下一步最终确定维护代价提供事实依据。（3）研究可信软件自动测试风险发生的阈值（测试构件的重用度）。研究假定:如果投资自动测试的成本超过相应手工测试,则认为自动测试风险发生,除非手工测试无法进行。本文在ROI模型基础上,充分考虑自动测试维护代价,提出平均维护代价因子概念,并利用COCOMO维护量的计算方法,建立自动测试代价估算控制方程,通过该方程,估算出自动测试风险发生的阈值（平均维护代价因子阈值）。在自动回归测试过程中,如果每次维护代价因子超过该阈值,则风险发生,需要加以控制。另外,研究还对测试构件的重用度进行了定量描述,如果自动测试风险发生的阂值为α（0＜α-＜1）,则1-α是测试构件的最小重用度,即测试构件至少要重用原来的组件100（1-α）%,才能使自动测试的风险不发生。（4）研究每次维护代价因子和风险规避策略。确定自动测试风险发生的阈值后,还要确定任意回归测试过程中,每次维护代价因子的值,通过两者比较才能确定自动测试风险发生与否。本文研究影响每次维护代价因子的因素,并利用专家Delphi法对不确定因素进行分析,指出这些因素取某个等级值的概率,然后利用决策树研究每次维护代价因子的分布情况,通过正态分布判别自动测试的风险性。最后对不确定风险因素进行敏感性分析,并给出自动测试风险规避的策略,控制风险发生。（5）研究可信软件自动测试成本与风险控制理论的应用步骤和系统过程。论文给出了自动测试成本与风险控制理论在实际应用时的具体步骤,建立了理论体系框架,并绘制了自动测试风险控制的系统结构图和自动测试代价估算的模型图,图中包含了评价指标的建立过程（包括一致性检查）、在评价指标的指导下,复杂测试需求的两次简约过程、自动测试代价估算模型、影响自动测试代价因素的敏感性分析、风险调整方程等方面的研究成果。研究结合医院管理系统（HIS）的实例,说明了整个理论体系的有效性。论文围绕可信软件自动测试成本与风险问题,在前人工作的基础上,提出了一些新的研究方法和策略,研究对完善可信软件理论方法与体系,降低测试代价,提高软件质量具有重要意义。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题提出
• 1.2 研究现状
• 1.2.1 测试用例简约研究
• 1.2.2 测试构件重用研究
• 1.2.3 投资回报（ROI）模型
• 1.3 现状分析
• 1.4 研究内容和结构安排
• 1.4.1 研究内容
• 1.4.2 结构安排
• 第二章 软件可信性评价指标
• 2.1 层次分析体系的建立
• 2.1.1 层次结构和判断矩阵建立
• 2.1.2 层次单排序及一致性检验
• 2.1.3 层次总排序及一致性检验
• 2.2 可信性评价指标的建立
• 2.2.1 McCall的软件质量模型
• 2.2.2 软件可信性层次结构建立
• 2.2.3 软件可信性评价结果
• 2.2.4 测试需求的第一次简约
• 2.3 本章小结
• 第三章 测试需求的二次简约
• 3.1 测试需求再次简约的可能
• 3.2 测试需求二次简约策略
• 3.2.1 相关定义
• 3.2.2 算法描述
• 3.3 测试需求两次简约过程
• 3.4 本章小结
• 第四章 自动测试维护代价确立依据
• 4.1 Drawlet画板程序
• 4.1.1 Drawlet画板基本功能
• 4.1.2 Drawlet画板的升级
• 4.1.3 Abstract Figure类的修改
• 4.2 Drawlet自动回归测试
• 4.2.1 回归测试程序的维护
• 4.2.2 被测试程序和测试程维护代价的比较
• 4.3 本章小结
• 第五章 自动测试风险分析
• 5.1 自动测试风险发生阈值
• 5.1.1 平均维护代价因子
• 5.1.2 风险发生的阂值（组件重用度）
• 5.2 自动测试风险因素
• 5.2.1 中等 COCOMO代价驱动因子
• 5.2.2 软件维护的风险因素
• 5.3 风险因素分类
• 5.3.1 确定因素和不确定因素
• 5.3.2 不确定风险因素的评估
• 5.4 本章小结
• 第六章 自动测试风险控制
• 6.1 自动测试风险识别
• 6.1.1 决策树方法
• 6.1.2 每次维护代价因子的确定
• 6.2 风险控制策略
• 6.2.1 风险因素敏感性分析
• 6.2.2 风险控制策略
• 6.3 本章小结
• 第七章 自动测试成本与风险控制理论应用
• 7.1 自动测试成本与风险控制理论系统结构
• 7.2 自动测试成本与风险控制步骤
• 7.3 案例应用
• 7.3.1 案例-HIS医院管理系统
• 7.3.2 HIS测试需求的简约
• 7.3.3 HIS测试方式选择
• 7.3.4 HIS测试成本控制
• 7.4 本章小结
• 第八章 总结与展望
• 8.1 总结
• 8.2 展望
• 参考文献
• 攻读学位期间的主要研究成果和发表的论文