Multilingual large language models (LLMs) achieve strong performance across languages, yet how language capabilities are organized at the neuron level remains poorly understood. Prior work has identified language-related neurons mainly through activation-based heuristics, which conflate language preference with functional importance. We propose CRANE, a relevance-based analysis framework that redefines language specificity in terms of functional necessity, identifying language-specific neurons through targeted neuron-level interventions. CRANE characterizes neuron specialization by their contribution to language-conditioned predictions rather than activation magnitude. Our implementation will be made publicly available. Neuron-level interventions reveal a consistent asymmetric pattern: masking neurons relevant to a target language selectively degrades performance on that language while preserving performance on other languages to a substantial extent, indicating language-selective but non-exclusive neuron specializations. Experiments on English, Chinese, and Vietnamese across multiple benchmarks, together with a dedicated relevance-based metric and base-to-chat model transfer analysis, show that CRANE isolates language-specific components more precisely than activation-based methods.


翻译:多语言大语言模型(LLMs)在不同语言上均表现出色,然而语言能力在神经元层面如何组织仍不甚明了。先前的研究主要通过基于激活的启发式方法识别与语言相关的神经元,这混淆了语言偏好与功能重要性。我们提出了CRANE,一个基于相关性的分析框架,该框架从功能必要性的角度重新定义语言特异性,并通过有针对性的神经元层面干预来识别语言特异性神经元。CRANE通过神经元对语言条件预测的贡献而非激活强度来刻画其专业化程度。我们的实现将公开提供。神经元层面的干预揭示了一致的非对称模式:屏蔽与目标语言相关的神经元会选择性降低该语言的性能,同时在很大程度上保留其他语言的性能,这表明神经元具有语言选择性但非排他性的专业化。在英语、中文和越南语上进行的多个基准测试,结合一个专门的基于相关性的度量以及从基础模型到聊天模型的迁移分析,表明CRANE比基于激活的方法能更精确地分离出语言特异性组件。

0
下载
关闭预览

相关内容

【CMU博士论文】大型语言模型的隐性特性
专知会员服务
15+阅读 · 2025年10月18日
大语言模型中的隐式推理:综合综述
专知会员服务
32+阅读 · 2025年9月4日
大语言模型与小语言模型协同机制综述
专知会员服务
38+阅读 · 2025年5月15日
重新思考不确定性:大语言模型时代的关键综述与分析
专知会员服务
39+阅读 · 2024年11月20日
大语言模型的因果性
专知会员服务
40+阅读 · 2024年10月22日
迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
从语言学到深度学习NLP,一文概述自然语言处理
人工智能学家
13+阅读 · 2018年1月28日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【CMU博士论文】大型语言模型的隐性特性
专知会员服务
15+阅读 · 2025年10月18日
大语言模型中的隐式推理:综合综述
专知会员服务
32+阅读 · 2025年9月4日
大语言模型与小语言模型协同机制综述
专知会员服务
38+阅读 · 2025年5月15日
重新思考不确定性:大语言模型时代的关键综述与分析
专知会员服务
39+阅读 · 2024年11月20日
大语言模型的因果性
专知会员服务
40+阅读 · 2024年10月22日
迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员