Software languages evolve over time for reasons such as feature additions. When grammars evolve, textual instances that originally conformed to them may become outdated. While model-driven engineering provides many techniques for co-evolving models with metamodel changes, these approaches are not designed for textual DSLs and may lose human-relevant information such as layout and comments. This study systematically evaluates the potential of large language models (LLMs) for co-evolving grammars and instances of textual DSLs. Using Claude Sonnet 4.5 and GPT-5.2 across ten case languages with ten runs each, we assess both correctness and preservation of human-oriented information. Results show strong performance on small-scale cases ($\geq$94% precision and recall for instances requiring fewer than 20 modified lines), but performance degraded with scale: Claude maintains 85% recall at 40 lines, while GPT fails on the largest instances. Response time increases substantially with instance size, and grammar evolution complexity and deletion granularity affect performance more than change type. These findings clarify when LLM-based co-evolution is effective and where current limitations remain.


翻译:软件语言会因功能扩展等原因随时间演化。当语法发生演化时,原本符合语法的文本实例可能变得过时。虽然模型驱动工程提供了许多技术来支持模型随元模型变更的协同演化,但这些方法并非为文本领域特定语言设计,且可能丢失布局和注释等对人类重要的信息。本研究系统评估了大型语言模型在文本领域特定语言的语法与实例协同演化方面的潜力。通过使用Claude Sonnet 4.5和GPT-5.2模型,在十种案例语言上各进行十次实验,我们同时评估了正确性和人本信息的保留程度。结果显示:在小型案例上表现优异(对于需要修改少于20行的实例,精确率和召回率均≥94%),但性能随规模扩大而下降——Claude在40行实例上仍保持85%的召回率,而GPT在最大实例上完全失效。响应时间随实例规模显著增加,语法演化的复杂性和删除操作的粒度对性能的影响比变更类型更为显著。这些发现明确了基于LLM的协同演化技术的有效适用范围及当前局限所在。

0
下载
关闭预览

相关内容

LLMS4ALL:大语言模型在各学科科研与应用中的综述
专知会员服务
36+阅读 · 2025年10月4日
大语言模型与小语言模型协同机制综述
专知会员服务
38+阅读 · 2025年5月15日
数据与多模态大型语言模型的协同作用综述
专知会员服务
58+阅读 · 2024年7月13日
大语言模型评估技术研究进展
专知会员服务
48+阅读 · 2024年7月9日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
一文速览大语言模型提示最新进展
专知会员服务
80+阅读 · 2023年12月24日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
VIP会员
相关VIP内容
LLMS4ALL:大语言模型在各学科科研与应用中的综述
专知会员服务
36+阅读 · 2025年10月4日
大语言模型与小语言模型协同机制综述
专知会员服务
38+阅读 · 2025年5月15日
数据与多模态大型语言模型的协同作用综述
专知会员服务
58+阅读 · 2024年7月13日
大语言模型评估技术研究进展
专知会员服务
48+阅读 · 2024年7月9日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
一文速览大语言模型提示最新进展
专知会员服务
80+阅读 · 2023年12月24日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员