AI-powered scientific research tools are rapidly being integrated into research workflows, yet the field lacks a clear lens into how researchers use these systems in real-world settings. We present and analyze the Asta Interaction Dataset, a large-scale resource comprising over 200,000 user queries and interaction logs from two deployed tools (a literature discovery interface and a scientific question-answering interface) within an LLM-powered retrieval-augmented generation platform. Using this dataset, we characterize query patterns, engagement behaviors, and how usage evolves with experience. We find that users submit longer and more complex queries than in traditional search, and treat the system as a collaborative research partner, delegating tasks such as drafting content and identifying research gaps. Users treat generated responses as persistent artifacts, revisiting and navigating among outputs and cited evidence in non-linear ways. With experience, users issue more targeted queries and engage more deeply with supporting citations, although keyword-style queries persist even among experienced users. We release the anonymized dataset and analysis with a new query intent taxonomy to inform future designs of real-world AI research assistants and to support realistic evaluation.


翻译:AI驱动的科研工具正快速融入科研工作流程,然而该领域仍缺乏对研究者如何在真实场景中使用这些系统的清晰观察。我们提出并分析了Asta交互数据集——一个包含来自LLM驱动的检索增强生成平台内两个已部署工具(文献发现界面与科学问答界面)超过20万条用户查询及交互日志的大规模资源。利用该数据集,我们刻画了查询模式、参与行为以及使用方式如何随经验演变。研究发现,用户提交的查询比传统搜索更长且更复杂,并将系统视为协作研究伙伴,委托其执行起草内容、识别研究缺口等任务。用户将生成回复视为持久性成果,以非线性方式重新访问并在输出结果与引用证据间导航。随着经验积累,用户提出更具针对性的查询并更深入地利用支持性引用,但即使经验丰富的用户仍持续使用关键词式查询。我们发布了匿名化数据集及分析报告,并附有新的查询意图分类体系,旨在为现实世界AI科研助手的未来设计提供参考,并支持真实场景下的评估。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
全球AI工具市场发展现状与趋势分析2025
专知会员服务
16+阅读 · 2025年9月20日
从Idea构想到论文发表:AI for Research全链路综述与实践
专知会员服务
23+阅读 · 2025年7月21日
《Engineering》:从数据到AI药物研发
专知会员服务
46+阅读 · 2023年5月17日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
AI综述专栏 | 跨领域推荐系统文献综述(上)
人工智能前沿讲习班
13+阅读 · 2018年5月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关VIP内容
全球AI工具市场发展现状与趋势分析2025
专知会员服务
16+阅读 · 2025年9月20日
从Idea构想到论文发表:AI for Research全链路综述与实践
专知会员服务
23+阅读 · 2025年7月21日
《Engineering》:从数据到AI药物研发
专知会员服务
46+阅读 · 2023年5月17日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员