Auditing the fine-tunes of open-weight generative models for harmful specialization has become a new governance challenge for model hosting platforms. The standard toolkit, generative evaluation via curated prompts or red-teaming, does not scale to platform-level auditing and breaks down entirely for domains like CSAM where generation is legally constrained. This motivates the Evaluation without Generation problem: assessing model capabilities without producing outputs. We argue that in such settings, capability must be inferred from the model's state, either its parameters or internal representations, rather than its outputs. We introduce Gaussian probing, a method that characterizes how LoRA adaptors perturb a model's internal representations by measuring responses to Gaussian latent ensembles. Unlike raw-weight baselines, Gaussian probing reliably distinguishes benign from harmful specialization without sampling outputs. We demonstrate effectiveness in high-risk domains, including detecting models specialized for child sexual abuse material (CSAM), where output-based evaluation is legally and ethically constrained. Our results show that Gaussian probing provides a scalable non-generative alternative for evaluating high-risk generative systems and remains robust to weight rescaling, a representative adversarial manipulation.


翻译:针对开放权重生成模型的微调进行有害专门化审计,已成为模型托管平台面临的新型治理挑战。传统的生成式评估方法(通过预设提示词或红队测试)无法扩展到平台级审计,且在涉及儿童性虐待材料(CSAM)等法律禁止生成的领域完全失效。这催生了“无生成评估”问题:在不产生输出的情况下评估模型能力。我们提出,在此类场景中,模型能力必须从其参数或内部表征等状态信息而非输出中进行推断。本文引入高斯探测法——该方法通过测量模型对高斯隐变量集的响应,刻画LoRA适配器如何扰动模型的内部表征。与原始权重基线相比,高斯探测法无需采样输出即可可靠区分良性专门化与有害专门化。我们在高风险领域验证了该方法的效果,包括检测专用于儿童性虐待材料(CSAM)的模型——此类场景下基于输出的评估受到法律与伦理双重约束。实验结果表明,高斯探测法为高风险生成系统的评估提供了一种可扩展的非生成式替代方案,且对权重缩放(一种典型的对抗性操纵手段)保持稳健。

0
下载
关闭预览

相关内容

文本、视觉与语音生成的自动化评估方法综述
专知会员服务
20+阅读 · 2025年6月15日
大模型时代的个性化生成:综述
专知会员服务
43+阅读 · 2025年3月10日
专知会员服务
36+阅读 · 2021年7月19日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
推荐|上交大推出Texygen:文本生成模型的基准测试平台
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
1+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
4+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员