Reasoning LLMs trained with long chain-of-thought often overthink: they spend tokens on redundant reflection and transitions that inflate cost without improving accuracy. Static activation steering (e.g.\ SEAL) suppresses such content with a fixed vector, but applies the same strength regardless of how redundant the current chunk actually is. We describe PID-steering, a training-free, decoding-time method that modulates the steering strength with a PID controller driven by a lightweight chunk-level redundancy classifier. On a subset of GSM8K with DeepSeek-R1-Distill-Qwen-1.5B, the method improves accuracy from 85.7\% to 89.6\% (+3.9 pp) while cutting average output length from 1026 to 790 tokens ($-$23\%). We report it as a small-scale proof of concept rather than a benchmark result.


翻译:采用长思维链训练的推理大语言模型常存在“过度思考”现象:模型在冗余反思及过渡阶段消耗大量标记,导致成本增加却未能提升准确率。静态激活引导方法(如SEAL)虽能通过固定向量抑制此类内容,但其施加强度与当前块的实际冗余程度无关。本文提出PID-steering方法——一种无需训练、解码阶段的轻量级方法,通过基于块级冗余分类器的PID控制器动态调节引导强度。在DeepSeek-R1-Distill-Qwen-1.5B模型的GSM8K子集测试中,该方法将准确率从85.7%提升至89.6%(+3.9个百分点),同时将平均输出长度从1026个标记缩减至790个标记(-23%)。本研究作为小规模概念验证报告,而非基准测试结果。

0
下载
关闭预览

相关内容

博士论文 | 面向大模型推理的内存高效算法
专知会员服务
8+阅读 · 7月27日
博士论文 | 把LLM推理看作统计决策
专知会员服务
20+阅读 · 7月13日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
《最强大的军事网状网络》
专知会员服务
7+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
5+阅读 · 9月7日
分层反无人机系统发展新趋势
专知会员服务
11+阅读 · 9月3日
何为协作武器?
专知会员服务
11+阅读 · 9月1日
相关VIP内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
8+阅读 · 7月27日
博士论文 | 把LLM推理看作统计决策
专知会员服务
20+阅读 · 7月13日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员