Online abuse has grown increasingly complex, spanning toxic language, harassment, manipulation, and fraudulent behavior. Traditional machine-learning approaches dependent on static classifiers and labor-intensive labeling struggle to keep pace with evolving threat patterns and nuanced policy requirements. Large Language Models introduce new capabilities for contextual reasoning, policy interpretation, explanation generation, and cross-modal understanding, enabling them to support multiple stages of modern safety systems. This survey provides a lifecycle-oriented analysis of how LLMs are being integrated into the Abuse Detection Lifecycle (ADL), which we define across four stages: (I) Label \& Feature Generation, (II) Detection, (III) Review \& Appeals, and (IV) Auditing \& Governance. For each stage, we synthesize emerging research and industry practices, highlight architectural considerations for production deployment, and examine the strengths and limitations of LLM-driven approaches. We conclude by outlining key challenges including latency, cost-efficiency, determinism, adversarial robustness, and fairness and discuss future research directions needed to operationalize LLMs as reliable, accountable components of large-scale abuse-detection and governance systems.


翻译:在线滥用行为日益复杂,涵盖有毒语言、骚扰、操纵及欺诈行为。依赖静态分类器和劳动密集型标注的传统机器学习方法难以跟上不断演变的威胁模式与细化的政策需求。大语言模型引入了上下文推理、政策解读、解释生成及跨模态理解的新能力,使其能够支撑现代安全系统的多个阶段。本文提供了一种面向生命周期的分析视角,探讨大语言模型如何被整合至我们定义的滥用检测生命周期中,该生命周期包含四个阶段:(I)标签与特征生成、(II)检测、(III)审查与申诉、以及(IV)审计与治理。针对每个阶段,我们综合了新兴研究与行业实践,突出了生产部署中的架构考量,并审视了大语言模型驱动方法的优势与局限。最后,我们概述了关键挑战(包括延迟、成本效益、确定性、对抗鲁棒性及公平性),并讨论了使大语言模型成为大规模滥用检测与治理系统中可靠且负责任组件所需的未来研究方向。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
探索大型语言模型在网络安全中的作用:一项系统综述
专知会员服务
21+阅读 · 2025年4月27日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
大语言模型在规划与调度问题上的应用
专知会员服务
52+阅读 · 2025年1月12日
大型语言模型在国家安全应用中的使用
专知会员服务
56+阅读 · 2024年7月13日
大语言模型评估技术研究进展
专知会员服务
48+阅读 · 2024年7月9日
医学大语言模型研究与应用综述
专知会员服务
67+阅读 · 2024年7月2日
大型语言模型网络安全综述
专知会员服务
68+阅读 · 2024年5月12日
大型语言模型在预测和异常检测中的应用综述
专知会员服务
70+阅读 · 2024年2月19日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
一份超全的NLP语料资源集合及其构建现状
七月在线实验室
33+阅读 · 2019年1月16日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月9日
Arxiv
26+阅读 · 2024年2月9日
Arxiv
17+阅读 · 2023年12月4日
Arxiv
25+阅读 · 2023年6月23日
Arxiv
12+阅读 · 2023年5月31日
VIP会员
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关VIP内容
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
探索大型语言模型在网络安全中的作用:一项系统综述
专知会员服务
21+阅读 · 2025年4月27日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
大语言模型在规划与调度问题上的应用
专知会员服务
52+阅读 · 2025年1月12日
大型语言模型在国家安全应用中的使用
专知会员服务
56+阅读 · 2024年7月13日
大语言模型评估技术研究进展
专知会员服务
48+阅读 · 2024年7月9日
医学大语言模型研究与应用综述
专知会员服务
67+阅读 · 2024年7月2日
大型语言模型网络安全综述
专知会员服务
68+阅读 · 2024年5月12日
大型语言模型在预测和异常检测中的应用综述
专知会员服务
70+阅读 · 2024年2月19日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员