As software systems evolve, test suites tend to grow in size and often contain redundant test cases. Such redundancy increases testing effort, time, and cost. Test suite minimization (TSM) aims to eliminate such redundancy while preserving key properties such as requirement coverage and fault detection capability. In this paper, we propose RTM (Requirement coverage-guided Test suite Minimization), a novel TSM approach designed for requirement-based testing (validation), which can effectively reduce test suite redundancy while ensuring full requirement coverage and a high fault detection rate (FDR) under a fixed minimization budget. Based on common practice in critical systems where functional safety is important, we assume test cases are specified in natural language and traced to requirements before being implemented. RTM preprocesses test cases using three different preprocessing methods, and then converts them into vector representations using seven text embedding techniques. Similarity values between vectors are computed utilizing three distance functions. A Genetic Algorithm, whose population is initialized by coverage-preserving initialization strategies, is then employed to identify an optimized subset containing diverse test cases matching the set budget. We evaluate RTM on an industrial automotive system dataset comprising $736$ system test cases and $54$ requirements. Experimental results show that RTM consistently outperforms baseline techniques in terms of FDR across different minimization budgets while maintaining full requirement coverage. Furthermore, we investigate the impact of test suite redundancy levels on the effectiveness of TSM, providing new insights into optimizing requirement-based test suites under practical constraints.


翻译:随着软件系统的演进,测试套件规模趋于增长且常包含冗余测试用例。此类冗余会增加测试工作量、时间与成本。测试套件最小化旨在消除冗余,同时保持需求覆盖率和缺陷检测能力等关键属性。本文提出RTM(需求覆盖引导的测试套件最小化)——一种专为基于需求的测试(验证)设计的新型TSM方法,该方法能在固定最小化预算下有效降低测试套件冗余,同时确保完全的需求覆盖与高缺陷检测率。基于功能安全至关重要的关键系统常见实践,我们假设测试用例以自然语言描述,并在实施前与需求建立追溯关系。RTM通过三种预处理方法处理测试用例,随后采用七种文本嵌入技术将其转换为向量表示,利用三种距离函数计算向量间相似度值。继而采用遗传算法(其种群通过覆盖保持初始化策略生成)来识别符合预算约束的、包含多样化测试用例的优化子集。我们在包含$736$个系统测试用例与$54$项需求的工业汽车系统数据集上评估RTM。实验结果表明,在不同最小化预算下,RTM在保持完全需求覆盖的同时,其缺陷检测率始终优于基线技术。此外,我们探究了测试套件冗余水平对TSM有效性的影响,为实际约束下优化基于需求的测试套件提供了新见解。

0
下载
关闭预览

相关内容

【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化
专知会员服务
18+阅读 · 2024年10月17日
专知会员服务
25+阅读 · 2021年5月23日
专知会员服务
125+阅读 · 2021年4月29日
目标检测小tricks之样本不均衡处理
PaperWeekly
49+阅读 · 2019年4月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
“Maven计划”的发展演变之“Maven智能系统”应用
《无人机革命:来自俄乌战场的启示》(报告)
专知会员服务
5+阅读 · 今天6:48
《实现联合作战能力所需的技术》58页报告
专知会员服务
2+阅读 · 今天6:30
以色列运用人工智能优化空袭警报系统
专知会员服务
3+阅读 · 今天6:20
以色列在多条战线部署AI智能体
专知会员服务
4+阅读 · 今天6:12
2025年大语言模型进展报告
专知会员服务
19+阅读 · 4月25日
多智能体协作机制
专知会员服务
15+阅读 · 4月25日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员