As Large Language Models (LLMs) increasingly automate writing tasks, there is a growing risk of cognitive deskilling where users offload critical thinking to the system. To address this, we introduce Critical Inker, a writing tool designed to scaffold critical reflection during writing through logical analysis and socratic feedback. We present two methods: (1) A Socratic chatbot using questions to help them realize and fix logical errors in their writing and (2) Visual Feedback, which highlights logical errors in the text without dialog. We detail the technical implementation of the system and evaluate its argument extraction and logical validity accuracy. Our evaluation shows a 91.2% argument overlap with ground truth argument annotations and 87% validity accuracy. Finally, we conducted a small-scale pilot and discuss early qualitative results.


翻译:摘要:随着大型语言模型(LLM)越来越多地自动化写作任务,用户将批判性思维外包给系统的认知技能退化的风险日益增加。为解决这一问题,我们提出了Critical Inker——一款旨在通过逻辑分析和苏格拉底式反馈在写作过程中支撑批判性反思的写作工具。我们提供两种方法:(1)一种苏格拉底式聊天机器人,通过提问帮助用户识别并修正写作中的逻辑错误;(2)可视化反馈,在无需对话的情况下突出显示文本中的逻辑错误。我们详细阐述了系统的技术实现,并评估了其论点提取和逻辑有效性准确性。评估结果显示,论点与真实标注的重叠率达到91.2%,有效性准确率为87%。最后,我们开展了一项小规模试点研究,并讨论了初步的定性结果。

0
下载
关闭预览

相关内容

古希腊哲学家,和其学生柏拉图及柏拉图的学生亚里士多德被并称为希腊三哲人。他被后人广泛认为是西方哲学的奠基者。 苏格拉底相信「理想存在于一个只有智者才能了解的世界」。
Claw AI Lab:从自动写论文到交互式AI研究实验室
专知会员服务
15+阅读 · 5月24日
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
37+阅读 · 1月9日
Deep Research(深度研究):系统性综述
专知会员服务
51+阅读 · 2025年12月3日
【斯坦福博士论文】大语言模型的AI辅助评估
专知会员服务
31+阅读 · 2025年3月30日
停止过度思考:大型语言模型高效推理研究综述
专知会员服务
37+阅读 · 2025年3月21日
可能是 Android 上最好用的写作 App
少数派
11+阅读 · 2018年12月21日
NLG ≠ 机器写作 | 专家专栏
量子位
13+阅读 · 2018年9月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
5+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
7+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员