Diagrams are crucial for communicating complex information, yet creating and modifying them remains a labor-intensive task. We present GenAI-DrawIO-Creator, a novel framework that leverages Large Language Models (LLMs) to automate diagram generation and manipulation in the structured XML format used by draw.io. Our system integrates Claude 3.7 to reason about structured visual data and produce valid diagram representations. Key contributions include a high-level system design enabling real-time diagram updates, specialized prompt engineering and error-checking to ensure well-formed XML outputs. We demonstrate a working prototype capable of generating accurate diagrams (such as network architectures and flowcharts) from natural language or code, and even replicating diagrams from images. Simulated evaluations show that our approach significantly reduces diagram creation time and produces outputs with high structural fidelity. Our results highlight the promise of Claude 3.7 in handling structured visual reasoning tasks and lay the groundwork for future research in AI-assisted diagramming applications.


翻译:图表对于传达复杂信息至关重要,然而创建和修改图表仍然是一项劳动密集型任务。我们提出了GenAI-DrawIO-Creator,这是一个新颖的框架,它利用大型语言模型(LLMs)来自动化生成和操作draw.io所使用的结构化XML格式的图表。我们的系统集成了Claude 3.7,用于推理结构化视觉数据并生成有效的图表表示。主要贡献包括:一个支持实时图表更新的高层系统设计、专门的提示工程和错误检查机制以确保生成格式良好的XML输出。我们展示了一个能够从自然语言或代码生成准确图表(如网络架构和流程图),甚至能从图像复制图表的工作原型。模拟评估表明,我们的方法显著减少了图表创建时间,并生成了具有高度结构保真度的输出。我们的结果凸显了Claude 3.7在处理结构化视觉推理任务方面的潜力,并为未来AI辅助图表应用的研究奠定了基础。

0
下载
关闭预览

相关内容

定制化大型语言模型的图检索增强生成综述
专知会员服务
38+阅读 · 2025年1月28日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
使用多模态语言模型生成图像
专知会员服务
32+阅读 · 2023年8月23日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
Github热门图深度学习(GraphDL)源码与框架
新智元
21+阅读 · 2019年3月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员