综述｜大模型生成测试：从“能运行”到“有证据判断对错”

导读

大语言模型已经能够编写单元测试、生成验收场景、补全断言、探索界面，还能合成模糊测试驱动程序。但一个测试能编译、能通过、能提高覆盖率，是否说明它能够正确判断软件行为？这篇综述的答案是：这些结果有价值，却提供不同类型的证据，不能彼此替代。 例如，要求排序函数“返回输入的有序排列，且不修改输入”，只检查输出有序的测试就漏掉了输入不变这一义务。若模型根据一个原地排序的错误实现生成预期结果，测试甚至可能把缺陷固化为应当保留的行为。反过来，若需求没有要求稳定排序，断言特定的等键顺序又可能拒绝合法实现。 本文的核心视角因此是：测试生成既是产物构造问题，也是证据构造问题。要判断质量，不仅看生成策略，还要追问正确行为来自哪里、反馈如何改变断言、最终评估是否独立。以下按原文十个一级部分展开，保留全部35个下级小节；配图采用原论文图表，图内英文保留，图注中文化。

论文信息

• 原题：LLM-Based Test Generation: Information Sources, Generation Strategies, and Quality Evidence。
• 作者：Yunhao Liang、Chengguang Gan、Ruixuan Ying、Hanjun Wei、Zhe Cui、Shiwen Ni。
• 机构包括：中国科学院成都计算机应用研究所、中国科学院大学、东北大学多元物质科学研究所、深圳理工大学人工智能研究院，以及独立研究者。
• 版本：arXiv于2026年10月4日提交，全文23页；文献收集截至2026年9月29日。本文依据该预印本解读。
• 论文页面：https://arxiv.org/abs/2610.05001
• 原文下载：https://arxiv.org/pdf/2610.05001
• 配套资料：https://github.com/dududuck00/llm-test-generation-survey。

1 Introduction｜绪论

测试需要连接“软件应该做什么”与“如何观察它做错了”。这涉及解释需求、选择输入、准备环境、观察执行和表达预期结果。大模型能够处理自然语言、程序代码与技术文档，因此研究已从生成测试函数扩展到验收场景、后置条件、交互序列和测试基础设施。 问题在于，表面相同的产物可能处于不同信息条件下。回归生成器可阅读实现，并保留在当前程序上通过的测试；需求驱动生成器可能必须在实现出现前给出判断；缺陷复现系统则已经获得失败报告。同样是“通过测试”，其意义并不相同。 作者以四个维度组织研究：测试目标与产物、训练及生成时可访问信息、生成与学习机制、评估证据。贡献不是宣称某种提示或智能体架构最强，而是解释这些维度如何共同决定质量结论。

2 Foundations and Analytical Framework｜基础与分析框架

2.1 生成的究竟是什么

可执行测试包含环境准备、输入或动作序列，以及判断结果的测试判定器（test oracle）。环境准备可能涉及夹具、模拟依赖、凭据、数据库状态和清理；判定器则可检查精确输出、异常、执行间关系或安全属性。测试套件还需要处理状态隔离与执行终止。 自然语言场景、输入语法与模糊测试驱动并不自动构成完整测试。场景还需落成脚本，语法约束合法输入却未必规定输出，驱动将输入接到接口但可能依赖外部故障检测器。作者因此区分测试设计、测试输入、判定器、可执行测试与生成基础设施。

图1：信息来源经不同机制支持规划、生成与检查，形成场景、测试或生成器；运行层证据与行为层证据回答不同质量问题。最终独立评估不应把结果反馈给生成过程。来源：原论文图1，第3页。

2.2 测试目标决定判定器角色

符合性测试判断是否满足外部需求；回归测试判断修改是否破坏应当保留的行为；缺陷复现区分错误版本与修复版本；模糊测试常寻找崩溃、检测器违规或实现间差异；代码生成中的测试还可能服务候选排序与调试。 排序示例说明，运行路径完整不等于需求义务完整。正确判定器既要揭露不允许的行为，也不能排除允许的实现选择。是否接受合法行为，与是否发现缺陷，是两个互补问题。

2.3 信息访问与正确性证据

论文分别记录训练、生成、最终评估三个阶段的信息访问。代码可能用于解决导入和对象构造，也可能被用来推断预期输出；依赖图说明能调用什么，却不证明调用结果应该是什么。候选程序执行是对候选行为的观察，不自动成为正确行为的标准。 还要追溯规格来源：由错误代码生成的文档字符串，仍是实现派生材料；研究者根据错误—修复差异构造需求，与生成器只看到需求，是两种不同权限。所谓“无代码生成”不能抹去训练时参考程序或数据构造时修复信息的依赖。 “智能体式”“需求驱动”“单元测试”分别描述组织方式、信息来源和测试层级，它们可以重叠，不宜当作相互排斥的分类分支。

3 Review Scope and Synthesis Method｜综述范围与综合方法

3.1 研究问题

原文提出六个问题：生成哪些目标和产物；正确行为的证据从何而来；大模型怎样结合检索、分析、执行与搜索；训练目标优化什么；基准支持什么质量主张；工程使用和未来研究还缺哪些验证。后续章节分别回答这些问题，而非按模型名称排列成果。

3.2 文献收集与选择

来源登记表含95条记录，其中7条为综述或路线图，88条为方法、基准、实证与历史记录；补充检索增加了35条。作者使用公开搜索、主要出版页面、arXiv、作者资源与参考文献追踪，并按研究家族处理相关版本。 这些数字描述整理后的登记表，不是领域完整研究总数。检索排除了MDPI来源与来源不明记录，因而存在覆盖限制；一般代码生成和测试大模型自身不属于核心范围。部分引用的最终出版元数据尚未完全统一，发表状态也不等同于证据强度。

3.3 信息提取与解释

登记内容包括产物、信息源、机制、分析用途与检查深度。多数核对集中于元数据及摘要，部分关键段落用于确认权限、奖励与指标。作者未做独立双人筛选、评审者一致性验证或实验复现，也不合并效应量或给方法排名。 原文披露使用AI辅助扩展搜索、组织文献、形成分类、起草综合与设计概念图，当前编码未接受独立人工验证。这一状态关系到分类与结论可靠性，应在阅读时保留，而不能把建议当作已复现发现。

3.4 与已有综述的关系

本文把已有测试综述、单元测试综述、需求驱动综述与系统性文献回顾连接起来。它强调维度间联系：反馈如何影响判定独立性，产物类型如何改变评价分母，训练监督如何限制自主性主张。 原文引用另一综述的178篇候选全文记录，但两者范围和收集流程不同，不能据数量比较覆盖优劣。本文价值在组织视角，不在声称检索最全面。

4 Testing Settings and Generated Artifacts｜测试场景与生成产物

图2：不同测试场景可生成多类产物，提示、检索、分析、反馈、学习与搜索机制可组合。空白单元格仅表示未选展示例，不表示相关研究不存在。来源：原论文图2，第6页。

4.1 单元测试与仓库上下文

函数级目标看似局部，但测试依赖类型、初始化、导入、链接、夹具与框架约定。TestPilot、ChatUniTest体现生成—验证—修复，CITYWALK关注项目依赖，ASTER加入静态上下文与模拟依赖，KTester区分设计知识和实现知识。环境可执行性与测试是否选择了正确行为仍应分别评价。

4.2 需求、场景与验收测试

RAGTAG从需求和领域材料生成场景；AutoUAT把用户故事转为Gherkin场景，Test Flow再结合页面结构生成Cypress脚本。场景与脚本阶段访问信息不同，应建立需求、场景、动作和断言的追踪关系。PR意图或工业工单也提供行为线索，但有自然语言输入不等于完全独立于实现。

4.3 判定器、后置条件与蜕变关系

TOGA、TOGLL研究异常与断言，后置条件把自然语言意图转为可执行约束，蜕变关系则检查多次执行之间的关系。关系适用的前置条件同样重要。文档选择、语法约束和多智能体讨论能帮助构造，却不能单独证明约束符合需求；应检查其接受和拒绝了哪些行为。

4.4 接口与图形界面交互序列

接口测试需保留资源标识和调用依赖，界面测试需在当前页面状态下选择动作。AutoRestTest、SAINT等处理服务与接口关系，DroidAgent、GPTDroid等探索界面。到达某个页面说明探索成功，确认其符合需求仍需判定依据；转成回归脚本还需稳定定位器、初始化和检查点。

4.5 模糊测试输入与基础设施

TitanFuzz、FuzzGPT生成结构化程序，其他方法生成语法、驱动、模糊测试器或自定义变异器。PromptFuzz、ELFuzz、Bulbasaur及G2FUZZ体现从一次性输入到可复用生成器的变化。一个生成器可支撑大量执行，因此不能仅按大模型产出用例数量衡量贡献，还要计算传统引擎的探索与复用。

4.6 缺陷复现与代码生成中的测试

LIBRO和SWT-Bench围绕报告及真实修复，评价测试是否区分错误与修复版本；这是复现已知问题，不等于独立发现未知缺陷。CodeT、UTGen、CodeRM等把测试用于排序或调试，TiCoder加入用户反馈。下游收益受到测试生成器及使用者共同影响，应同时保留测试级质量指标。

5 Generation Mechanisms｜生成机制

5.1 上下文构造与任务分解

检索可提供执行事实，例如接口签名，也可提供行为事实，例如业务规则。编译成功只能支持前一类材料有用，不能证明业务规则当前有效。切片、调用关系、路径提示与领域知识解决不同障碍；分解流程可定位错误，也可能传播早期误解，因此阶段成功不能替代最终行为验证。

5.2 输入、状态与环境构造

输入要满足领域约束，也要满足执行接口；请求格式正确不代表资源已创建。异常测试需正确触发条件，模拟依赖需避免环境阻塞。排序示例中，保留输入副本才能观察是否被修改。无效输入、准备失败和断言失败的分母应分开，不应统称为生成失败。

5.3 判定器构造与表示

精确输出、性质、执行间关系和人类判断具有不同表达能力；证据来源解释为什么应接受某行为。排序中的有序、元素排列保持、输入不变分别对应不同义务。额外要求未规定的稳定性则可能误判合法程序，因此表达形式与适用范围需共同验证。

5.4 程序分析与混合搜索

依赖与调用分析帮助构造可执行操作，覆盖信息指出未触达区域，但实现图不等于行为契约。CODAMOSA在搜索停滞时引入大模型候选，复用生成器又将模型与传统探索分工。比较需匹配引擎、插桩、预算和停止规则，并以消融隔离模型贡献。

5.5 执行反馈与迭代修复

反馈可定位语法、依赖与覆盖问题，但断言失败可能来自测试、程序、环境或需求解释。CoverUp利用覆盖引导，TestGen-LLM按运行与稳定性筛选，MuTAP利用存活变异体，各自决策不同。 如果为了让测试通过，直接把预期值替换成候选输出，符合性缺陷就可能被抹去。原文讨论了修复偏向容易通过断言的陷阱。修复环境准备与修订行为判断，需要不同证据；应记录到底改了语法、输入、夹具还是断言。

图3：不同反馈提供不同的即时证据。覆盖说明触达，变异说明特定故障模型内的区分，执行与讨论仍依赖观察来源；该表不是对各方法完整能力的评价。来源：原论文表2，第11页。

5.6 智能体协作与对抗生成

规划、生成、执行、审核分工可改变信息、权限或搜索多样性，但共享模型与上下文会造成相关错误。多方一致和生成程序间执行一致，不等于独立需求证据；检查者访问独立来源才提供不同性质的支撑。比较还需匹配总调用预算。 AdverTest式推理期竞争修改当前测试与变异程序，而跨任务强化学习修改模型参数。前者支持当前目标的搜索收益，后者的泛化需要冻结模型在新任务上验证，不能混称为自学习能力。

6 Learning Test Generators｜学习型测试生成器

6.1 监督学习与训练数据

代码—测试或描述—测试配对学习框架语法和断言习惯，但开发者原测试可能不完整、重复，且同一函数有多个合法测试。与参考测试完全一致只是有限指标。CAT-LM、UniTSyn、FuzzAug体现文件关联、跨语言配对与数据增强；UniTSyn主要是训练数据资源，不应当作另一终端评估基准。

6.2 强化学习与奖励含义

语法、执行、覆盖、可维护性与语义有效性是不同目标，一个奖励不能直接证明另一个性质改善。PyTester生成时可只看描述和签名，但训练奖励使用参考执行。CURE主要配置不使用标准答案代码监督，却使用标准答案测试标记程序并构造奖励；没有参考代码不代表没有参考监督。

图4：选定配置在生成、训练及数据构造阶段的信息来源。表中描述的是具体配置，不代表每个方法所有变体或底层模型的预训练数据。来源：原论文表3，第13页。

6.3 对抗学习与自博弈

UTRL、ATGen、Sol-Ver、TCS及CURE通过程序行为与变化的对手学习，而非只模仿既有测试。课程难度只有迁移到新对手、新任务与独立错误池才说明能力提升。应冻结测试器，并与同预算固定或刷新的错误池比较；自博弈双方可能共享错误，仍需需求、参考或人类判断作为标签依据。

6.4 输入学习与下游用途学习

SAGE、LogiCase学习合法、多样的输入，行为正确性仍需单独判断。面向调试或代码奖励建模的测试，应分别作为测试组件与下游系统评价。代码选择提升可能来自更好的相对排序，即使部分测试错误；正确却过弱的套件也可能不改善候选选择。

7 Benchmarks and Quality Evidence｜基准与质量证据

7.1 质量画像而非单一分数

质量包括输入有效性、可执行性、判定正确性、缺陷检测、合法行为接受、覆盖、稳定性、可维护性与成本。编译率可能以全部尝试为分母，覆盖和变异往往只统计保留测试。应报告尝试、执行、接受、保留各阶段数量；一个错误断言也可能使整个套件拒绝正确实现。

图5：能运行、覆盖路径、通过参考、拒绝错误程序和接受合法实现，分别支持不同结论。各行是互补证据，不是从低到高的等级，也不是逐级推导关系。来源：原论文图3，第14页。

7.2 基准家族

TestGenEval关注真实Python仓库，TESTEVAL关注结构触达，SWT-Bench关注问题与修复区分，ULT/PLT讨论真实函数及污染条件，RESTestBench考察需求精度和反馈质量。TC-Bench围绕选定错误程序池，MultiFileTest加入多文件上下文，TOGBench涉及多种Java判定器形式。 这些协议支持的主张不同，不能合并分数排名。原文还提醒，某资源将“错误程序仍通过”称为假阳性，应按其操作定义理解，而不能直接等同于“合法程序被拒绝”。术语必须结合分母和判定方向核对。

图6：基准应随预期质量主张选择，并保留上下文、候选池、需求、反馈与评估协议。该表概述主要侧重，不排除基准的其他能力。来源：原论文表4，第15页。

7.3 实现状态与指标解释

基于正确代码生成回归测试，与基于错误代码发现既有问题，是不同任务。覆盖和变异仍有用，但推断正确性的前提不同。错误代码派生文档也可能保留误导。模糊测试的崩溃则可能来自驱动违反接口约束，应分别记录输入有效、失败复现与产品缺陷确认。

7.4 独立判定器评估

作者建议使用独立验证的合法实现池和独立构造的错误实现池，同时报告两个量：

• 合法实现拒绝率 = 被套件判失败的合法实现数 ÷ 合法实现总数。
• 错误实现检测率 = 被套件判失败的错误实现数 ÷ 错误实现总数。

二者可揭示“检测很多错误，却也拒绝许多合法行为”的测试。池需非空、标签可靠、环境有效；有限池不能证明覆盖全部规格。该协议是作者的评估建议，不是本综述新测出的性能结果。缺乏可执行池时，可评审场景追踪、条件、遗漏及分歧，不能只靠文本相似度。

7.5 可比性、泄漏与成本

比较需匹配信息权限：仅需求、参考访问和候选反馈修复属于不同条件。训练、检索、既有测试及评估材料可能越过边界，应说明防污染控制针对哪条路径。 成本应覆盖全部角色调用、输入输出令牌、传统执行、环境准备与人工介入；训练成本和部署成本分别报告。等令牌与等墙钟时间比较可能偏好不同方案。生成随机性与执行不确定性也应分开，通过重复生成、重复执行、项目级结果和失败记录揭示方差。

8 Practical Integration and Research Agenda｜实践集成与研究议程

8.1 从测试目标选择工作流

先确定行为决策、可用证据和缺失产物，再选技术。回归增强可用既有测试与覆盖，符合性需要需求支持的判断，模糊测试需要合法生成器和故障归因，交互代码生成可用用户确认样例。断言来源把这些选择连接到审核与维护。

8.2 工业采用与人工修改

工程师认可场景有用，与脚本被纳入回归流程，是不同结果。部署评价应保留生成、审核、修改、执行、采用各阶段，记录需求解释、补充上下文、断言修正与维护时间。原文不合并异构工业采用比例，不能给出一个通用自动化收益数字。

8.3 判定来源与独立验证

将断言连接到需求条款、验证样例、形式属性或回归观察，可能帮助接受与修复。但合理解释不等于核实过的证据链；这一收益需以同预算实验验证，测量无依据断言、合法行为拒绝、独立检测与审核时间。

8.4 保留有效测试的反馈机制

从同一初始测试分出不同修复分支，分别观察恢复了多少无效测试、损伤了多少有效判断。可比较只修环境、无限制修复、不改语义和可信参考检查，再独立评价最终套件。通过率提高不能单独判断断言是修正还是被削弱。

8.5 学习型与对抗测试器的泛化

冻结测试器后，在新对手、仓库和规格表达上验证迁移。套件级总奖励可能掩盖具体测试的贡献，可比较聚合奖励和验证后的测试级反馈，同时保留有效性约束。这些是研究建议，不是作者已完成的通用泛化验证。

8.6 仓库规模与生命周期评估

软件修改应标明是语义保持还是有意改变需求。长期评估需保留历史测试，测量稳定性、维护负担与意外回归发现；版本感知检索可与不加限制的上下文复用比较，因为旧测试可能保留脆弱准备或过时义务。

8.7 可复现证据与高效预算分配

资料应呈现请求到保留套件的全路径：模型与提示版本、上下文、候选、工具反馈、修复、拒绝理由和最终评估输入，训练方法还需公开数据与奖励构造。预算可用于多生成候选、检查断言、执行独立错误或澄清需求；应按共同部署目标比较分配，而非只追求生成量。

9 Threats to Validity｜有效性威胁

本综述支持定性研究地图，不支持领域方法流行程度或平均效果估计。网络检索、英语材料侧重与来源排除会遗漏研究；性能、可访问性、并发和分布式系统测试的覆盖也弱于功能测试及模糊测试。 检查深度不一致，摘要适合确认大致机制，却不足以完整确认权限、奖励与分母。作者未做独立编码验证、数值收益汇总或实验复现，分类本身也可能受多阶段重叠影响。预印本修改、模型服务变化与发表偏差进一步限制结论。系统性扩展需要更全面检索、变体提取与独立验证。

10 Conclusion｜结论

大模型测试生成的价值，不仅是少写测试代码，也在于连接需求、执行和行为判断。但能运行、覆盖更多代码、与参考一致、区分补丁、独立发现缺陷和接受合法行为，始终是不同证据。 这篇综述提供的实用框架是：明确生成产物，记录训练与推理权限，追溯预期行为来源，再按主张选择独立评价。既不否定覆盖与执行反馈，也不让它们越界承担语义正确性保证。只有把信息来源、评价前提与完整成本讲清，方法比较和工程采用才更可信。 配套资料说明： 作者提供95条来源登记、检索及检查记录、来源追踪、综合提纲、参考文献、手稿和可编辑概念图；不声称提供实验数据集或复现性能结果。 原文入口： 论文摘要与版本记录；完整综述；作者配套资料。本文依据该综述解读，具体方法与实验协议以原文及引用研究为准。