Digital educational environments are expanding toward complex AI and human discourse, providing researchers with an abundance of data that offers deep insights into learning and instructional processes. However, traditional qualitative analysis remains a labor-intensive bottleneck, severely limiting the scale at which this research can be conducted. We present Sandpiper, a mixed-initiative system designed to serve as a bridge between high-volume conversational data and human qualitative expertise. By tightly coupling interactive researcher dashboards with agentic Large Language Model (LLM) engines, the platform enables scalable analysis without sacrificing methodological rigor. Sandpiper addresses critical barriers to AI adoption in education by implementing context-aware, automated de-identification workflows supported by secure, university-housed infrastructure to ensure data privacy. Furthermore, the system employs schema-constrained orchestration to eliminate LLM hallucinations and enforces strict adherence to qualitative codebooks. An integrated evaluations engine allows for the continuous benchmarking of AI performance against human labels, fostering an iterative approach to model refinement and validation. We propose a user study to evaluate the system's efficacy in improving research efficiency, inter-rater reliability, and researcher trust in AI-assisted qualitative workflows.


翻译:数字教育环境正朝着复杂的人工智能与人类对话方向发展,为研究者提供了大量能够深入揭示学习与教学过程的数据。然而,传统的质性分析方法依然是劳动密集型的瓶颈,严重制约了此类研究的开展规模。本文提出沙锥鸟系统——一种混合主动式系统,旨在构建海量对话数据与人类质性分析专长之间的桥梁。该系统通过将交互式研究者仪表板与智能体化大语言模型引擎紧密耦合,在保持方法论严谨性的同时实现了可扩展的分析。沙锥鸟通过部署情境感知的自动化去身份识别工作流(依托于安全的大学内部基础设施以确保数据隐私),解决了教育领域人工智能应用的关键障碍。此外,该系统采用模式约束的协同机制以消除大语言模型的幻觉现象,并确保严格遵循质性编码手册。集成的评估引擎支持持续以人工标注为基准对人工智能性能进行测评,从而形成模型优化与验证的迭代流程。我们提出一项用户研究方案,以评估本系统在提升研究效率、评分者间信度及研究者对人工智能辅助质性工作流信任度方面的效能。

0
下载
关闭预览

相关内容

【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
71+阅读 · 2019年11月25日
【课程推荐】 人工普遍智能(Artificial General Intelligence)
专知会员服务
12+阅读 · 2019年11月10日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
VIP会员
最新内容
《对信息环境分析实现人工智能预测冲突》96页
专知会员服务
3+阅读 · 今天9:59
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
4+阅读 · 今天9:41
无人机与僵局:俄乌战争难以突破
专知会员服务
3+阅读 · 今天9:02
《控制对手感知:电子战愿景与赋能技术》
专知会员服务
5+阅读 · 今天8:51
自主、人工智能与可消耗集群时代的海军情报
专知会员服务
8+阅读 · 4月6日
“史诗狂怒行动”中的海军动态
专知会员服务
10+阅读 · 4月5日
相关VIP内容
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
71+阅读 · 2019年11月25日
【课程推荐】 人工普遍智能(Artificial General Intelligence)
专知会员服务
12+阅读 · 2019年11月10日
相关资讯
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员