Text-to-image (T2I) models have advanced creative content generation, yet their reliance on large uncurated datasets often reproduces societal biases. We present FairT2I, a training-free and interactive framework grounded in a mathematically principled latent variable guidance formulation. This formulation decomposes the generative score function into attribute-conditioned components and reweights them according to a defined distribution, providing a unified and flexible mechanism for bias-aware generation that also subsumes many existing ad hoc debiasing approaches as special cases. Building upon this foundation, FairT2I incorporates (1) latent variable guidance as the core mechanism, (2) LLM-based bias detection to automatically infer bias-prone categories and attributes from text prompts as part of the latent structure, and (3) attribute resampling, which allows users to adjust or redefine the attribute distribution based on uniform, real-world, or user-specified statistics. The accompanying user interface supports this pipeline by enabling users to inspect detected biases, modify attributes or weights, and generate debiased images in real time. Experimental results show that LLMs outperform average human annotators in the number and granularity of detected bias categories and attributes. Moreover, FairT2I achieves superior performance to baseline models in both societal bias mitigation and image diversity, while preserving image quality and prompt fidelity.


翻译:文本到图像(T2I)模型推动了创意内容生成的发展,但其对大规模未筛选数据集的依赖常常会再现社会偏见。我们提出了FairT2I,这是一个无需训练且具有交互性的框架,其基础是一个基于数学原理的潜变量引导公式。该公式将生成式评分函数分解为属性条件化组件,并根据定义的分布对它们进行重新加权,从而提供了一个统一且灵活的、支持偏见感知生成的机制,该机制也将许多现有的临时去偏见方法作为特例包含在内。基于此基础,FairT2I整合了:(1)作为核心机制的潜变量引导;(2)基于LLM的偏见检测,用于从文本提示中自动推断易产生偏见的类别和属性,作为潜结构的一部分;(3)属性重采样,允许用户基于均匀分布、真实世界或用户指定的统计数据来调整或重新定义属性分布。配套的用户界面通过支持用户检查检测到的偏见、修改属性或权重以及实时生成去偏见的图像,来支撑这一流程。实验结果表明,在检测到的偏见类别和属性的数量与粒度方面,LLM的表现优于普通人类标注者。此外,FairT2I在社会偏见缓解和图像多样性方面均优于基线模型,同时保持了图像质量和提示保真度。

0
下载
关闭预览

相关内容

一个具体事物,总是有许许多多的性质与关系,我们把一个事物的性质与关系,都叫作事物的属性。 事物与属性是不可分的,事物都是有属性的事物,属性也都是事物的属性。 一个事物与另一个事物的相同或相异,也就是一个事物的属性与另一事物的属性的相同或相异。 由于事物属性的相同或相异,客观世界中就形成了许多不同的事物类。具有相同属性的事物就形成一类,具有不同属性的事物就分别地形成不同的类。
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【ICCV2023】StyleDiffusion:基于扩散模型的可控解缠风格迁移
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关VIP内容
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【ICCV2023】StyleDiffusion:基于扩散模型的可控解缠风格迁移
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员