Automated annotation of pedagogical dialogue is a high-stakes task where LLMs often fail without sufficient domain grounding. We present a domain-adapted RAG pipeline for tutoring move annotation. Rather than fine-tuning the generative model, we adapt retrieval by fine-tuning a lightweight embedding model on tutoring corpora and indexing dialogues at the utterance level to retrieve labeled few-shot demonstrations. Evaluated across two real tutoring dialogue datasets (TalkMoves and Eedi) and three LLM backbones (GPT-5.2, Claude Sonnet 4.6, Qwen3-32b), our best configuration achieves Cohen's $κ$ of 0.526-0.580 on TalkMoves and 0.659-0.743 on Eedi, substantially outperforming no-retrieval baselines ($κ= 0.275$-$0.413$ and $0.160$-$0.410$). An ablation study reveals that utterance-level indexing, rather than embedding quality alone, is the primary driver of these gains, with top-1 label match rates improving from 39.7\% to 62.0\% on TalkMoves and 52.9\% to 73.1\% on Eedi under domain-adapted retrieval. Retrieval also corrects systematic label biases present in zero-shot prompting and yields the largest improvements for rare and context-dependent labels. These findings suggest that adapting the retrieval component alone is a practical and effective path toward expert-level pedagogical dialogue annotation while keeping the generative model frozen.


翻译:教学对话的自动标注是一项高风险任务,若无充分的领域基础,大语言模型往往表现不佳。我们提出了一种面向辅导动作标注的领域自适应RAG流水线。该方法不微调生成模型,而是通过在教学语料上微调轻量级嵌入模型、并对对话进行话语级索引来检索带标签的少样本示例。在两个真实教学对话数据集(TalkMoves和Eedi)及三个大语言模型主干(GPT-5.2、Claude Sonnet 4.6、Qwen3-32b)上的评估表明,我们最优配置在TalkMoves上取得Cohen’s κ值0.526-0.580,在Eedi上取得0.659-0.743,显著优于无检索基线(κ值分别为0.275-0.413和0.160-0.410)。消融实验揭示,话语级索引(而非嵌入质量本身)是性能提升的主要驱动因素:在领域自适应检索下,TalkMoves和Eedi的top-1标签匹配率分别从39.7%提升至62.0%,从52.9%提升至73.1%。检索还能纠正零样本提示中存在的系统性标签偏差,并对稀有标签和上下文依赖标签带来最大改善。这些发现表明,仅适配检索组件是在保持生成模型冻结的情况下,实现专家级教学对话标注的实用有效路径。

0
下载
关闭预览

相关内容

【ICML2023】特征和标签偏移下时间序列的域适应
专知会员服务
26+阅读 · 2023年4月26日
领域自适应研究综述
专知会员服务
55+阅读 · 2021年5月5日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美国军方使用的10种反无人机武器(2026年更新)
专知会员服务
3+阅读 · 今天4:07
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员