本文通过新的概率建模方法,对对比学习的最新发展进行了有益的改进。我们推导了一种特殊形式的对比损失,称为联合对比学习(JCL)。JCL隐含地涉及到同时学习无限数量的查询键对,这在搜索不变特征时带来了更严格的约束。我们推导了这个公式的上界,它允许以端到端训练的方式进行解析解。虽然JCL在许多计算机视觉应用程序中实际上是有效的,但我们也从理论上揭示了控制JCL行为的某些机制。我们证明,提出的公式具有一种内在的力量,强烈支持在每个实例特定类内的相似性,因此在搜索不同实例之间的区别特征时仍然具有优势。我们在多个基准上评估这些建议,证明了对现有算法的相当大的改进。代码可以通过以下网址公开获得

https://github.com/caiqi/Joint-Contrastive-Learning

成为VIP会员查看完整内容
29

相关内容

专知会员服务
10+阅读 · 2020年11月12日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
66+阅读 · 2020年10月20日
【MIT】硬负样本的对比学习
专知会员服务
40+阅读 · 2020年10月14日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
33+阅读 · 2020年9月27日
专知会员服务
75+阅读 · 2020年9月1日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
已删除
架构文摘
3+阅读 · 2019年4月17日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
4+阅读 · 2018年4月10日
Arxiv
8+阅读 · 2014年6月27日
VIP会员
相关主题
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
4+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
16+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
17+阅读 · 10月15日
相关VIP内容
专知会员服务
10+阅读 · 2020年11月12日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
66+阅读 · 2020年10月20日
【MIT】硬负样本的对比学习
专知会员服务
40+阅读 · 2020年10月14日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
33+阅读 · 2020年9月27日
专知会员服务
75+阅读 · 2020年9月1日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
相关资讯
已删除
架构文摘
3+阅读 · 2019年4月17日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
相关论文
微信扫码咨询专知VIP会员