The diversification of information access systems, from RAG to autonomous agents, creates a critical need for comparative user studies. However, the technical overhead to deploy and manage these distinct systems is a major barrier. We present UXLab, an open-source system for web-based user studies that addresses this challenge. Its core is a web-based dashboard enabling the complete, no-code configuration of complex experimental designs. Researchers can visually manage the full study, from recruitment to comparing backends like traditional search, vector databases, and LLMs. We demonstrate UXLab's value via a micro case study comparing user behavior with RAG versus an autonomous agent. UXLab allows researchers to focus on experimental design and analysis, supporting future multi-modal interaction research.


翻译:从检索增强生成到自主智能体,信息访问系统的多样化催生了对比较性用户研究的迫切需求。然而,部署和管理这些不同系统所需的技术开销构成了主要障碍。我们提出了UXLab,一个用于基于网络的用户研究的开源系统,以应对这一挑战。其核心是一个基于网络的仪表板,能够完整、无代码地配置复杂的实验设计。研究人员可以可视化地管理从招募到比较传统搜索、向量数据库和大语言模型等后端系统的完整研究流程。我们通过一个比较用户在使用检索增强生成与自主智能体时行为的微型案例研究,展示了UXLab的价值。UXLab使研究人员能够专注于实验设计与分析,为未来的多模态交互研究提供支持。

0
下载
关闭预览

相关内容

【博士论文】优化智能体工作流以提升信息获取效率
专知会员服务
19+阅读 · 2025年7月7日
智能数据库学习型索引研究综述
专知会员服务
23+阅读 · 2023年1月14日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【博士论文】优化智能体工作流以提升信息获取效率
专知会员服务
19+阅读 · 2025年7月7日
智能数据库学习型索引研究综述
专知会员服务
23+阅读 · 2023年1月14日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员