Instruction tuning is now the default way to train and adapt large language models, but many instruction--input--output pairs are only weakly specified: for a given input, the same output can remain plausible under several alternative instructions. This raises a simple question: \emph{does the instruction uniquely determine the target output?} We propose the \textbf{Task--Specificity Score (TSS)} to quantify how much an instruction matters for predicting its output, by contrasting the true instruction against plausible alternatives for the same input. We further introduce \textbf{TSS++}, which uses hard alternatives and a small quality term to mitigate easy-negative effects. Across three instruction datasets (\textsc{Alpaca}, \textsc{Dolly-15k}, \textsc{NI-20}) and three open LLMs (Gemma, Llama, Qwen), we show that selecting task-specific examples improves downstream performance under tight token budgets and complements quality-based filters such as perplexity and IFD.


翻译:指令微调现已成为训练和适配大型语言模型的标准方法,但许多指令-输入-输出对仅被弱指定:对于给定输入,同一输出在多种替代指令下仍可能成立。这引出一个简单问题:\emph{指令是否唯一决定了目标输出?} 我们提出 \textbf{任务特异性评分(TSS)} 来量化指令对预测其输出的重要性,方法是将真实指令与同一输入下的合理替代指令进行对比。我们进一步提出 \textbf{TSS++},该方法使用困难替代指令并引入小型质量项以缓解易负例效应。在三个指令数据集(\textsc{Alpaca}、\textsc{Dolly-15k}、\textsc{NI-20})和三个开源大语言模型(Gemma、Llama、Qwen)上的实验表明,在严格标记预算下选择任务特异性样本能提升下游性能,并可补充基于质量的筛选指标(如困惑度和IFD)。

0
下载
关闭预览

相关内容

《C2SIM 作为任务规划工具的标准》
专知会员服务
75+阅读 · 2024年5月8日
《大型语言模型指令调优》综述
专知会员服务
73+阅读 · 2023年8月27日
多因素问题分析时,如何确立各因素权重?
人人都是产品经理
75+阅读 · 2020年3月4日
半监督深度学习小结:类协同训练和一致性正则化
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
VIP会员
相关VIP内容
《C2SIM 作为任务规划工具的标准》
专知会员服务
75+阅读 · 2024年5月8日
《大型语言模型指令调优》综述
专知会员服务
73+阅读 · 2023年8月27日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员