Detecting Schwartz values in political text is difficult because implicit cues often depend on surrounding arguments and fine-grained distinctions between neighboring values. We study when context and explicit moral knowledge help sentence-level value detection. Using the ValuesML/Touché ValueEval format, we compare sentence, window, and full-document inputs; no-RAG and retrieval-augmented settings with a curated moral knowledge base; supervised DeBERTa-v3-base/large encoders; and zero-shot LLMs from 12B to 123B parameters. The results show that more context is not uniformly better: full-document context improves supervised DeBERTa encoders by 3.8-4.8 macro-F1 points over sentence-only input, but does not consistently help zero-shot LLMs. Retrieved moral knowledge is more consistently useful in matched comparisons, improving each tested model family and context condition under early fusion. However, scaling from DeBERTa-v3-base to large and from 12B to larger LLMs does not guarantee gains, and simple early fusion outperforms the tested late-fusion and cross-attention RAG variants for encoders. Per-value analyses show that context and retrieval help most for socially situated or conceptually confusable values. These findings suggest that value-sensitive NLP should evaluate context, knowledge, and model family jointly rather than treating longer inputs or larger models as universal improvements.


翻译:检测政治文本中的施瓦茨价值观具有挑战性,因为隐性线索往往依赖于周围论证及相邻价值观之间的细微区分。本研究系统探究了上下文与显性道德知识对句子级价值观检测的影响。基于ValuesML/Touché ValueEval格式,我们对比了句子、窗口与全文输入;无检索增强与结合 curated 道德知识库的检索增强设置;有监督的DeBERTa-v3-base/large编码器;以及从12B到123B参数量的零样本大型语言模型。结果表明,更多上下文并非总是更好:全文上下文能使有监督的DeBERTa编码器宏F1值比仅用句子输入提升3.8-4.8个百分点,但对零样本语言模型的提升并不稳定。在匹配比较中,检索到的道德知识更具一致性优势:采用早期融合方式时,每个测试模型系列与上下文条件均获提升。然而,从DeBERTa-v3-base扩展至large、从12B扩展至更大语言模型并不能保证增益,且对于编码器而言,简单早期融合优于所测试的晚期融合与交叉注意力检索增强变体。按价值观分类分析表明,上下文与检索对社交定位或概念易混淆的价值观帮助最大。这些发现提示,价值观敏感的NLP研究应联合评估上下文、知识与模型系列,而非将更长输入或更大模型视为普适改进方案。

0
下载
关闭预览

相关内容

大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
70+阅读 · 2020年6月10日
AAAI 2020论文解读:关注实体以更好地理解文本
AI科技评论
17+阅读 · 2019年11月20日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
对抗环境下超视距目标打击的情报支援
专知会员服务
3+阅读 · 今天14:49
《无人机对海面作战影响评估》
专知会员服务
11+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
6+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
相关VIP内容
大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
70+阅读 · 2020年6月10日
相关资讯
AAAI 2020论文解读:关注实体以更好地理解文本
AI科技评论
17+阅读 · 2019年11月20日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员