Unsupervised object-centric learning models, particularly slot-based architectures, have shown great promise in decomposing complex scenes. However, their reliance on reconstruction-based training creates a fundamental conflict between the sharp, high-frequency attention maps of the encoder and the spatially consistent but blurry reconstruction maps of the decoder. We identify that this discrepancy gives rise to a vicious cycle: the noisy feature map from the encoder forces the decoder to average over possibilities and produce even blurrier outputs, while the gradient computed from blurry reconstruction maps lacks high-frequency details necessary to supervise encoder features. To break this cycle, we introduce Synergistic Representation Learning (SRL) that establishes a virtuous cycle where the encoder and decoder mutually refine one another. SRL leverages the encoder's sharpness to deblur the semantic boundary within the decoder output, while exploiting the decoder's spatial consistency to denoise the encoder's features. This mutual refinement process is stabilized by a warm-up phase with a slot regularization objective that initially allocates distinct entities per slot. By bridging the representational gap between the encoder and decoder, SRL achieves state-of-the-art results on video object-centric learning benchmarks. Codes are available at https://github.com/hynnsk/SRL.


翻译:无监督物体中心学习模型,特别是基于槽位的架构,在分解复杂场景方面展现出巨大潜力。然而,其基于重建的训练方式导致编码器的高频锐利注意力图与解码器的空间一致但模糊的重建图之间存在根本性冲突。我们发现这种差异会引发恶性循环:编码器产生的噪声特征图迫使解码器对多种可能性进行平均化处理,从而输出更加模糊的结果;而基于模糊重建图计算的梯度又缺乏监督编码器特征所需的高频细节。为打破这一循环,我们提出了协同表征学习(SRL),通过建立编码器与解码器相互精炼的良性循环机制。SRL利用编码器的锐利特性来消除解码器输出中的语义边界模糊,同时借助解码器的空间一致性来抑制编码器特征的噪声。该相互精炼过程通过包含槽位正则化目标的热身阶段得以稳定,该阶段初始为每个槽位分配独立实体。通过弥合编码器与解码器之间的表征鸿沟,SRL在视频物体中心学习基准测试中取得了最先进的性能。代码发布于 https://github.com/hynnsk/SRL。

0
下载
关闭预览

相关内容

半监督深度学习小结:类协同训练和一致性正则化
【干货】监督学习与无监督学习简介
专知
14+阅读 · 2018年4月4日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员