Large Reasoning Models (LRMs) have emerged as a powerful advancement in multi-step reasoning tasks, offering enhanced transparency and logical consistency through explicit chains of thought (CoT). However, these models introduce novel safety and reliability risks, such as CoT-hijacking and prompt-induced inefficiencies, which are not fully captured by existing evaluation methods. To address this gap, we propose RT-LRM, a unified benchmark designed to assess the trustworthiness of LRMs. RT-LRM evaluates three core dimensions: truthfulness, safety and efficiency. Beyond metric-based evaluation, we further introduce the training paradigm as a key analytical perspective to investigate the systematic impact of different training strategies on model trustworthiness. We achieve this by designing a curated suite of 30 reasoning tasks from an observational standpoint. We conduct extensive experiments on 26 models and identify several valuable insights into the trustworthiness of LRMs. For example, LRMs generally face trustworthiness challenges and tend to be more fragile than Large Language Models (LLMs) when encountering reasoning-induced risks. These findings uncover previously underexplored vulnerabilities and highlight the need for more targeted evaluations. In addition, we release a scalable toolbox for standardized trustworthiness research to support future advancements in this important field. Our code and datasets will be open-sourced.


翻译:大型推理模型(LRMs)已成为多步推理任务领域的重要进展,通过显式的思维链(CoT)机制提供了更高的透明度和逻辑一致性。然而,这些模型也引入了新的安全性与可靠性风险,例如思维链劫持和提示诱导的低效问题,这些风险尚未被现有评估方法充分涵盖。为填补这一空白,我们提出了RT-LRM——一个用于评估LRMs可信度的统一基准框架。RT-LRM从三个核心维度进行评估:真实性、安全性和效率性。除基于指标的评估外,我们进一步引入训练范式作为关键分析视角,以探究不同训练策略对模型可信度的系统性影响。为此,我们从观测视角设计了一套包含30个推理任务的精选测试集。通过对26个模型开展大量实验,我们获得了关于LRMs可信度的多项重要发现。例如,LRMs普遍面临可信度挑战,且在遭遇推理诱发风险时往往比大型语言模型(LLMs)更为脆弱。这些发现揭示了以往未被充分探索的脆弱性,并凸显了开展更具针对性评估的必要性。此外,我们发布了可扩展的标准化可信度研究工具箱,以支持这一重要领域的后续发展。我们的代码与数据集将进行开源。

0
下载
关闭预览

相关内容

【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
44+阅读 · 2023年5月30日
【KDD2023】半监督图不平衡回归
专知会员服务
26+阅读 · 2023年5月24日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
初学者系列:Deep FM详解
专知
109+阅读 · 2019年8月26日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月6日
VIP会员
相关VIP内容
相关资讯
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
初学者系列:Deep FM详解
专知
109+阅读 · 2019年8月26日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员