ECHO (Evaluation of Chat, Human behavior, and Outcomes) is an open research platform designed to support reproducible, mixed-method studies of human interaction with both conversational AI systems and Web search engines. It enables researchers from varying disciplines to orchestrate end-to-end experimental workflows that integrate consent and background surveys, chat-based and search-based information-seeking sessions, writing or judgment tasks, and pre- and post-task evaluations within a unified, low-coding-load framework. ECHO logs fine-grained interaction traces and participant responses, and exports structured datasets for downstream analysis. By supporting both chat and search alongside flexible evaluation instruments, ECHO lowers technical barriers for studying learning, decision making, and user experience across different information access paradigms, empowering researchers from information retrieval, HCI, and the social sciences to conduct scalable and reproducible human-centered AI evaluations.


翻译:ECHO(Evaluation of Chat, Human behavior, and Outcomes)是一个开放研究平台,旨在支持对人类与对话式AI系统及网络搜索引擎交互的可复现、混合方法研究。该平台使来自不同学科的研究人员能够在统一且低代码负担的框架中,编排端到端的实验流程,整合知情同意与背景调查、基于聊天和搜索的信息获取会话、写作或判断任务,以及任务前与任务后评估。ECHO记录细粒度的交互轨迹与参与者反馈,并导出结构化数据集以供后续分析。通过同时支持聊天与搜索两种模式以及灵活的评价工具,ECHO降低了研究不同信息获取范式中学习过程、决策机制与用户体验的技术门槛,助力信息检索、人机交互及社会科学领域的研究者开展可扩展、可复现的以人为中心的人工智能评估。

0
下载
关闭预览

相关内容

达摩院基于元学习的对话系统
专知会员服务
25+阅读 · 2021年1月1日
中国AI语音识别市场研究报告(附PDF下载)
专知会员服务
78+阅读 · 2020年12月30日
【EMNLP2020最佳论文】无声语音的数字化发声
专知会员服务
12+阅读 · 2020年11月20日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
书单 | 语音研究进阶指南
微软研究院AI头条
12+阅读 · 2019年3月22日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
开源自动语音识别系统wav2letter (附实现教程)
七月在线实验室
10+阅读 · 2018年1月8日
资源 | 清华大学开源OpenKE:知识表示学习平台
机器之心
10+阅读 · 2017年11月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
达摩院基于元学习的对话系统
专知会员服务
25+阅读 · 2021年1月1日
中国AI语音识别市场研究报告(附PDF下载)
专知会员服务
78+阅读 · 2020年12月30日
【EMNLP2020最佳论文】无声语音的数字化发声
专知会员服务
12+阅读 · 2020年11月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员