Standardized Student Evaluation of Teaching often suffer from low reliability, restricted response options, and response distortion. Existing machine learning methods that mine open-ended comments usually reduce feedback to binary sentiment, which overlooks concrete concerns such as content clarity, feedback timeliness, and instructor demeanor, and provides limited guidance for instructional improvement.We propose TeachPro, a multi-label learning framework that systematically assesses five key teaching dimensions: professional expertise, instructional behavior, pedagogical efficacy, classroom experience, and other performance metrics. We first propose a Dimension-Anchored Evidence Encoder, which integrates three core components: (i) a pre-trained text encoder that transforms qualitative feedback annotations into contextualized embeddings; (ii) a prompt module that represents five teaching dimensions as learnable semantic anchors; and (iii) a cross-attention mechanism that aligns evidence with pedagogical dimensions within a structured semantic space. We then propose a Cross-View Graph Synergy Network to represent student comments. This network comprises two components: (i) a Syntactic Branch that extracts explicit grammatical dependencies from parse trees, and (ii) a Semantic Branch that models latent conceptual relations derived from BERT-based similarity graphs. BiAffine fusion module aligns syntactic and semantic units, while a differential regularizer disentangles embeddings to encourage complementary representations. Finally, a cross-attention mechanism bridges the dimension-anchored evidence with the multi-view comment representations. We also contribute a novel benchmark dataset featuring expert qualitative annotations and multi-label scores. Extensive experiments demonstrate that TeachPro offers superior diagnostic granularity and robustness across diverse evaluation settings.


翻译:标准化的学生教学评估通常存在可靠性低、回答选项受限以及回答失真等问题。现有的挖掘开放式评论的机器学习方法通常将反馈简化为二元情感分析,这忽略了诸如内容清晰度、反馈及时性和教师仪态等具体关切,并为教学改进提供的指导有限。我们提出了TeachPro,一个多标签学习框架,系统评估五个关键教学维度:专业素养、教学行为、教学效能、课堂体验及其他绩效指标。我们首先提出了一种维度锚定证据编码器,它集成了三个核心组件:(i) 一个预训练文本编码器,将定性反馈标注转化为上下文嵌入;(ii) 一个提示模块,将五个教学维度表示为可学习的语义锚点;(iii) 一个交叉注意力机制,在结构化语义空间中对齐证据与教学维度。随后,我们提出了一个跨视图图协同网络来表示学生评论。该网络包含两个部分:(i) 一个句法分支,从解析树中提取显式语法依赖关系;(ii) 一个语义分支,对基于BERT的相似性图所衍生的潜在概念关系进行建模。双仿射融合模块对齐句法和语义单元,同时一个差分正则化器解耦嵌入以鼓励互补表示。最后,一个交叉注意力机制将维度锚定的证据与多视图评论表示相连接。我们还贡献了一个新颖的基准数据集,包含专家定性标注和多标签评分。大量实验表明,TeachPro在不同的评估场景中提供了卓越的诊断粒度和鲁棒性。

0
下载
关闭预览

相关内容

视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
【Facebook】人工智能基准(Benchmarking)测试再思考,55页ppt
专知会员服务
31+阅读 · 2020年12月20日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关VIP内容
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
【Facebook】人工智能基准(Benchmarking)测试再思考,55页ppt
专知会员服务
31+阅读 · 2020年12月20日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员