Scientific visualization pipelines encode domain-specific procedural knowledge with strict execution dependencies, making their construction sensitive to missing stages, incorrect operator usage, or improper ordering. Thus, generating executable scientific visualization pipelines from natural-language descriptions remains challenging for large language models, particularly in web-based environments where visualization authoring relies on explicit code-level pipeline assembly. In this work, we investigate the reliability of LLM-based scientific visualization pipeline generation, focusing on vtk.js as a representative web-based visualization library. We propose a structure-aware retrieval-augmented generation workflow that provides pipeline-aligned vtk.js code examples as contextual guidance, supporting correct module selection, parameter configuration, and execution order. We evaluate the proposed workflow across multiple multi-stage scientific visualization tasks and LLMs, measuring reliability in terms of pipeline executability and human correction effort. To this end, we introduce correction cost as metric for the amount of manual intervention required to obtain a valid pipeline. Our results show that structured, domain-specific context substantially improves pipeline executability and reduces correction cost. We additionally provide an interactive analysis interface to support human-in-the-loop inspection and systematic evaluation of generated visualization pipelines.


翻译:科学可视化流水线通过严格的执行依赖关系编码领域特定的过程知识,这使得其构建过程对缺失阶段、操作符使用错误或顺序不当等问题极为敏感。因此,从自然语言描述生成可执行的科学可视化流水线对于大型语言模型而言仍然具有挑战性,特别是在基于网络的可视化创作环境中,此类创作依赖于显式的代码级流水线组装。在本工作中,我们研究了基于LLM的科学可视化流水线生成的可靠性,并以vtk.js作为代表性的基于网络的可视化库进行重点分析。我们提出了一种结构感知的检索增强生成工作流,该工作流提供与流水线对齐的vtk.js代码示例作为上下文指导,以支持正确的模块选择、参数配置和执行顺序。我们在多个多阶段科学可视化任务和不同LLM上对所提出的工作流进行了评估,从流水线可执行性和人工修正工作量两个维度衡量其可靠性。为此,我们引入了修正成本作为衡量获得有效流水线所需人工干预量的指标。我们的结果表明,结构化的、领域特定的上下文能显著提高流水线的可执行性并降低修正成本。此外,我们提供了一个交互式分析界面,以支持人在回路的检查和对生成的可视化流水线进行系统性评估。

0
下载
关闭预览

相关内容

【博士论文】结构化数据自动可视化关键技术研究
专知会员服务
47+阅读 · 2023年12月6日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
基于流线的流场可视化绘制方法综述
专知会员服务
27+阅读 · 2021年12月9日
【开放书】Python + Matplotlib可视化指南,249页pdf
专知会员服务
98+阅读 · 2021年11月17日
tensorflow项目学习路径
北京思腾合力科技有限公司
10+阅读 · 2017年11月23日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
2+阅读 · 今天3:12
(中文)认知战的本体论基础(2026报告)
专知会员服务
17+阅读 · 今天1:45
美空军条令(2026):外国对内防御
专知会员服务
3+阅读 · 今天1:32
美国与以色列如何在攻击伊朗中使用人工智能
专知会员服务
7+阅读 · 4月16日
《自动化战略情报管控》
专知会员服务
3+阅读 · 4月16日
得失评估:审视对伊朗战争的轨迹(简报)
专知会员服务
3+阅读 · 4月16日
【CMU博士论文】迈向可解释机器学习的理论基础
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员