While Large Language Models (LLMs) have demonstrated remarkable capabilities, research shows that their effectiveness depends not only on explicit prompts but also on the broader context provided. This requirement is especially pronounced in software engineering, where the goals, architecture, and collaborative conventions of an existing project play critical roles in response quality. To support this, many AI coding assistants have introduced ways for developers to author persistent, machine-readable directives that encode a project's unique constraints. Although this practice is growing, the content of these directives remains unstudied. This paper presents a large-scale empirical study to characterize this emerging form of developer-provided context. Through a qualitative analysis of 401 open-source repositories containing cursor rules, we developed a comprehensive taxonomy of project context that developers consider essential, organized into five high-level themes: Conventions, Guidelines, Project Information, LLM Directives, and Examples. Our study also explores how this context varies across different project types and programming languages, offering implications for the next generation of context-aware AI developer tools.


翻译:尽管大型语言模型(LLM)已展现出卓越的能力,研究表明其有效性不仅取决于显式提示,还依赖于所提供的更广泛上下文。这一要求在软件工程领域尤为突出,现有项目的目标、架构和协作规范对响应质量起着关键作用。为支持这一点,许多AI编程助手已引入方法,使开发者能够编写持久化、机器可读的指令,以编码项目的独特约束。尽管这一实践日益普及,这些指令的内容尚未得到系统研究。本文通过大规模实证研究,对这种新兴的开发者提供上下文的形式进行特征刻画。通过对包含光标规则的401个开源仓库进行定性分析,我们构建了开发者认为至关重要的项目上下文的综合分类体系,归纳为五个高层主题:规范、指南、项目信息、LLM指令和示例。本研究还探讨了此类上下文如何随项目类型和编程语言变化,为下一代上下文感知的AI开发者工具提供了启示。

0
下载
关闭预览

相关内容

迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
如何提示?浙大最新《大型语言模型提示框架》综述
专知会员服务
83+阅读 · 2023年11月23日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《2026年美国/以色列-伊朗冲突》
专知会员服务
1+阅读 · 35分钟前
《美国与伊朗的冲突》美国会服务处报告
专知会员服务
2+阅读 · 38分钟前
美国对伊朗军事行动:弹药与反导
专知会员服务
1+阅读 · 40分钟前
超越技术:伊朗冲突中的“战争方式”
专知会员服务
11+阅读 · 4月1日
军事决策大语言模型综合评价基准
专知会员服务
8+阅读 · 4月1日
《美军混合航空器军用适航认证路线图》84页
专知会员服务
7+阅读 · 4月1日
量子无人机与未来军事战争
专知会员服务
13+阅读 · 4月1日
迈向医学人工智能科学家
专知会员服务
12+阅读 · 4月1日
相关VIP内容
迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
如何提示?浙大最新《大型语言模型提示框架》综述
专知会员服务
83+阅读 · 2023年11月23日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员