This paper presents the Personalized Thinking Model (PTM), a hierarchical and interpretable learner representation designed for AI supported education. PTM organizes evidence from learner journals into a five-layer structure covering behavioral instances, behavioral patterns, cognitive routines, metacognitive tendencies, and self-system values. PTM is grounded in Marzano's New Taxonomy of Educational Objectives and tries to clone learner's thinking model and build cognitive twin. It was constructed using a pipeline that combines large language model inference (Gemini 2.5 Pro), sentence embeddings, dimensionality reduction, and consensus clustering. This paper evaluates PTM fidelity through three methods applied to 40 participants in a seven-week study. First, automatic evaluation using atomic information point matching yielded an overall F1 score of 74.57% before human-in-the-loop (HITL) refinement and 75.48% after refinement. Second, user evaluation using a Likert scale produced mean ratings of 4.26 and 4.30 on a five-point scale for pre and post-HITL conditions respectively. Third, semantic alignment verification showed that topic coherence increased from 0.436 at the behavioral layer to 0.626 at the core value layer, while lexical overlap with journal vocabulary decreased from 0.114 to 0.007 across those same layers. These results suggest that the PTM produces outputs with acceptable fidelity, was generally perceived by users as reflecting their thinking, and showed a pattern consistent with semantic abstraction across layers.


翻译:本文提出个性化思维模型(PTM),这是一种面向人工智能辅助教育的层次化、可解释的学习者表征方法。PTM将学习日志中的证据组织为五层结构,涵盖行为实例、行为模式、认知常规、元认知倾向及自我系统价值观。该模型以Marzano教育目标新分类学为理论基础,旨在复制学习者的思维模式并构建认知孪生。研究通过结合大语言模型推理(Gemini 2.5 Pro)、句子嵌入、降维与共识聚类的处理流程实现模型构建。本文通过三种方法评估PTM的保真度,实验在为期七周的研究中涉及40名参与者。第一,基于原子信息点匹配的自动评估显示,经人机协同(HITL)优化前后总体F1值分别为74.57%和75.48%。第二,采用李克特量表进行的用户评估中,HITL干预前后量表均分(5分制)分别为4.26与4.30。第三,语义对齐验证表明,主题一致性从行为层的0.436提升至核心价值层的0.626,而同一层级的日志词汇词汇重叠度从0.114降至0.007。结果表明:PTM输出具有可接受的保真度,用户普遍认同其反映自身思维模式,且各层级间呈现与语义抽象规律一致的模式特征。

0
下载
关闭预览

相关内容

国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员