Recent subject-driven image customization excels in fidelity, yet fine-grained instance-level spatial control remains an elusive challenge, hindering real-world applications. This limitation stems from two factors: a scarcity of scalable, position-annotated datasets, and the entanglement of identity and layout by global attention mechanisms. To this end, we introduce \modelname{}, a unified framework for high-fidelity, spatially controllable multi-subject customization. First, we present BMPDS, the first automatic data-synthesis pipeline for position-annotated multi-subject datasets, effectively providing crucial spatial supervision. Second, we design a lightweight, layout-aware diffusion framework that integrates a novel visibility-aware attention mechanism. This mechanism explicitly models spatial relationships via an NeRF-inspired volumetric weight regulation to effectively decouple instance-level spatial embeddings from semantic identity features, enabling precise, occlusion-aware placement of multiple subjects. Extensive experiments demonstrate \modelname{} achieves state-of-the-art performance on public benchmarks, setting new records for spatial precision and identity consistency. Our work represents a significant step towards truly controllable, high-fidelity image customization in multi-entity scenarios. Code and data will be publicly released.


翻译:近期基于主题驱动的图像定制方法在保真度方面表现出色,但细粒度的实例级空间控制仍是一个难以解决的挑战,阻碍了实际应用。这一局限性源于两个因素:一是缺乏可扩展的、带有位置标注的数据集;二是全局注意力机制导致身份信息与布局信息相互纠缠。为此,我们提出了 \modelname{},一个用于高保真、空间可控多主体定制的统一框架。首先,我们提出了 BMPDS,这是首个用于生成位置标注多主体数据集的自动数据合成流程,有效提供了关键的空间监督。其次,我们设计了一个轻量级的、布局感知的扩散框架,该框架集成了新颖的可见性感知注意力机制。该机制通过一种受 NeRF 启发的体素权重调节来显式建模空间关系,从而有效地将实例级空间嵌入与语义身份特征解耦,实现了对多个主体的精确、遮挡感知的放置。大量实验表明,\modelname{} 在公开基准测试中实现了最先进的性能,在空间精度和身份一致性方面创造了新的记录。我们的工作代表了在多实体场景中实现真正可控、高保真图像定制的重要一步。代码和数据将公开释放。

0
下载
关闭预览

相关内容

TensorFlow 2.0新特性之Ragged Tensor
深度学习每日摘要
18+阅读 · 2019年4月5日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
TensorFlow 2.0新特性之Ragged Tensor
深度学习每日摘要
18+阅读 · 2019年4月5日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员