Recent advances in both Large Language Models (LLMs) and Vision Language Models (VLMs) have seen a step change in their ability to perform visual code completion, but the aerospace industry, which prioritizes safety and explainabilty over rapid LLM adoption, currently has no publicly announced LLM-based geometric design copilot systems in commercial use by aerospace Original Equipment Manufacturers (OEMs). This paper presents a LLM-based visual programming copilot application for aerospace engineering design tasks, using a visual programming variant of the ReAct methodology and GPT 5.4. In addition to the copilot, we describe Wingbuilder, a new Grasshopper plugin library with custom components for aerospace-specific geometry abstraction, and an associated Aerospace Visual Programming Dataset (AVPD) with 18 aerospace expert designed tasks at different levels of difficulty alongside ground truth solutions. We evaluate our copilot application with a user trial involving two experienced aerospace engineers from a large aircraft manufacturing company. We find our copilot visual programming ReAct methodology was successful in generating suggestions that participants found helpful, but slow ReAct inference times limit its usefulness to more complex time-consuming tasks where waiting for good copilot solution suggestion was worthwhile. Participants reported they liked the tool and would be willing to use it in the future.


翻译:近期,大型语言模型(LLM)与视觉语言模型(VLM)在执行视觉代码补全任务的能力上实现了阶跃式提升,但航空航天工业在确保安全性与可解释性的优先考量下,尚未快速接纳LLM技术。目前,尚无公开报道的、由航空航天原始设备制造商(OEM)投入商业使用的、基于LLM的几何设计辅助系统。本文提出了一种面向航空航天工程设计任务的、基于LLM的视觉编程辅助应用。该应用采用了ReAct方法的视觉编程变体,并基于GPT 5.4模型构建。除该辅助系统外,我们还介绍了Wingbuilder——一个全新的Grasshopper插件库,其包含专用于航空航天几何抽象的自定义组件;同时,我们还构建了相关的航空航天视觉编程数据集(AVPD),该数据集包含18个由航空航天专家设计的、不同难度的任务及其对应的真值解决方案。我们通过一项用户试验评估了该辅助应用,试验对象为来自一家大型飞机制造公司的两位资深航空航天工程师。结果发现,我们采用ReAct视觉编程方法所生成的建议获得了受试者的认可,认为其具有实用性;但ReAct方法较慢的推理速度限制了其在更复杂、更耗时的任务上的应用有效性——在此类任务中,等待优良的辅助解决方案才具有价值。受试者表示对该工具持肯定态度,并愿意在未来使用它。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
大型语言模型(LLMs),附Slides与视频
专知会员服务
71+阅读 · 2024年6月30日
视觉语言建模导论
专知会员服务
38+阅读 · 2024年5月30日
哈工大讯飞联合实验室发布中文XLNet预训练模型
哈工大SCIR
13+阅读 · 2019年8月20日
Windows开源无人机仿真工具:AirSim1.0 入门
无人机
28+阅读 · 2019年6月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月12日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
0+阅读 · 3分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
1+阅读 · 15分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
1+阅读 · 35分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员