Code coverage is a valuable guide for testing, but in AAA games the overhead of instrumentation conflicts with strict performance requirements and can destabilize automated tests. We propose and assess a selective instrumentation approach tailored to large game engines written in \texttt{C++}, which reduces the scope of instrumentation while preserving relevant coverage data to developer commits. Our framework integrates into an industrial game testing pipeline, enabling developers to receive immediate coverage feedback on tests run against their changes. The compilation overhead of our approach is minimal, allowing instrumentation of over 2,000 commits before doubling build time. In performance evaluations, even the worst-case scenario maintains frame rates above 50\% of the non-instrumented baseline. Across two production test suites maintained by our industry partner, our framework caused no automated test failures, avoiding the instability observed under full instrumentation. Our work shows that commit-level or build-level coverage of large \texttt{C++} game engines can be achieved with minimal overhead and without compromising test stability.


翻译:代码覆盖率为测试提供了有价值的指导,但在AAA级游戏中,插桩的开销与严格的性能要求相冲突,并可能破坏自动化测试的稳定性。我们提出并评估了一种针对大型C++游戏引擎定制的选择性插桩方法,该方法在保留与开发者提交相关的覆盖率数据的同时,缩小了插桩范围。我们的框架集成到工业级游戏测试流程中,使开发者能够针对其代码变更运行的测试获得即时覆盖率反馈。该方法的编译开销极小,在超过2000次提交后才会使构建时间翻倍。在性能评估中,即使在最坏情况下仍能维持高于非插桩基准50%的帧率。在我们行业合作伙伴维护的两个生产测试套件中,该框架未引发任何自动化测试失败,避免了全量插桩下观察到的不稳定性。我们的研究表明,大型C++游戏引擎的提交级别或构建级别覆盖率可在开销极小且不损害测试稳定性的前提下实现。

0
下载
关闭预览

相关内容

自动编程:大型语言模型及其他
专知会员服务
36+阅读 · 2024年5月12日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
基于 SonarQube 的增量代码扫描
DevOps时代
12+阅读 · 2019年7月18日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
自动编程:大型语言模型及其他
专知会员服务
36+阅读 · 2024年5月12日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员