As modern text-to-image (T2I) models draw closer to synthesizing highly realistic content, the threat of unsafe content generation grows, and it becomes paramount to exercise control. Existing approaches steer these models by applying Euclidean adjustments to text embeddings, redirecting the generation away from unsafe concepts. In this work, we introduce hyperbolic control (HyCon): a novel control mechanism based on parallel transport that leverages semantically aligned hyperbolic representation space to yield more expressive and stable manipulation of concepts. HyCon reuses off-the-shelf generative models and a state-of-the-art hyperbolic text encoder, linked via a lightweight adapter. HyCon achieves state-of-the-art results across four safety benchmarks and four T2I backbones, showing that hyperbolic steering is a practical and flexible approach for more reliable T2I generation.


翻译:随着现代文本到图像(T2I)模型愈发接近合成高度逼真的内容,不安全内容生成的威胁也随之增长,实施控制变得至关重要。现有方法通过对文本嵌入应用欧几里得调整来引导这些模型,使生成内容远离不安全概念。在本工作中,我们提出了双曲控制(HyCon):一种基于平行移动的新型控制机制,它利用语义对齐的双曲表示空间,实现对概念更具表现力和更稳定的操控。HyCon 复用了现成的生成模型和一个最先进的双曲文本编码器,二者通过一个轻量级适配器连接。HyCon 在四个安全基准测试和四个 T2I 骨干模型上均取得了最先进的结果,表明双曲引导是一种实用且灵活的方法,可实现更可靠的 T2I 生成。

0
下载
关闭预览

相关内容

航天器非脆弱控制理论及应用研究进展
专知会员服务
9+阅读 · 2025年7月8日
【KDD2024】Hypformer:在双曲空间中探索高效的双曲变换器
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
空间控制技术发展与展望
专知会员服务
30+阅读 · 2023年2月12日
专知会员服务
47+阅读 · 2020年11月13日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
总结-空洞卷积(Dilated/Atrous Convolution)
极市平台
41+阅读 · 2019年2月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月18日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
4+阅读 · 4月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员