CARE-Edit: 面向上下文相关图像编辑的条件感知专家路由机制

摘要： 统一扩散编辑模型通常依赖固定的共享主干网络来处理多样化任务，这往往会导致任务间的相互干扰，且难以适应异构需求（如局部与全局、语义与光度需求）。具体而言，主流的 ControlNet 和 OmniControl 变体通过静态拼接或加法适配器来组合多种条件信号（如文本、掩码、参考图），此类方式无法动态地优先处理或抑制相互冲突的模态，从而导致掩码边缘渗色、身份或风格漂移，以及在多条件输入下产生不可预测的行为。 针对上述问题，我们提出了条件感知专家路由机制（Condition-Aware Routing of Experts, CARE-Edit），旨在将模型计算与特定的编辑能力进行对齐。该架构的核心是一个轻量级的潜空间注意力路由器，它根据多模态条件和扩散时间步（Timesteps），将编码后的扩散令牌（Tokens）分配给四个专门的专家模块——文本（Text）、掩码（Mask）、参考（Reference）和基础（Base）。具体流程如下：(i) **掩码重绘模块（Mask Repaint）**首先对用户定义的粗糙掩码进行优化，以实现精准的空间引导；(ii) 路由器采用稀疏 Top-K 选择策略，将计算资源动态分配给最相关的专家；(iii) **潜空间混合模块（Latent Mixture）**随后融合各专家的输出，将语义、空间和风格信息连贯地整合到基础图像中。 实验结果证实，CARE-Edit 在包括擦除、替换、文本驱动编辑和风格迁移在内的上下文编辑任务中表现强劲。实证分析进一步揭示了专用专家的任务特定行为，凸显了动态条件感知处理在缓解多条件冲突方面的重要性。项目主页及源代码见 LINK。