Orthogonal and 1-Lipschitz neural network layers are essential building blocks in robust deep learning architectures, crucial for certified adversarial robustness, stable generative models, and reliable recurrent networks. Despite significant advancements, existing implementations remain fragmented, limited, and computationally demanding. To address these issues, we introduce Orthogonium , a unified, efficient, and comprehensive PyTorch library providing orthogonal and 1-Lipschitz layers. Orthogonium provides access to standard convolution features-including support for strides, dilation, grouping, and transposed-while maintaining strict mathematical guarantees. Its optimized implementations reduce overhead on large scale benchmarks such as ImageNet. Moreover, rigorous testing within the library has uncovered critical errors in existing implementations, emphasizing the importance of standardized and reliable tools. Orthogonium thus significantly lowers adoption barriers, enabling scalable experimentation and integration across diverse applications requiring orthogonality and robust Lipschitz constraints. Orthogonium is available at https://github.com/deel-ai/orthogonium.


翻译:正交与1-李普希茨神经网络层是鲁棒深度学习架构中的关键基础模块,对于可验证的对抗鲁棒性、稳定的生成模型以及可靠的循环网络至关重要。尽管已有显著进展,现有实现方案仍存在碎片化、功能局限且计算成本高昂的问题。为解决这些问题,我们提出了正交库,一个统一、高效且全面的PyTorch库,提供正交与1-李普希茨层。正交库支持标准卷积特性——包括步长、膨胀、分组及转置操作——同时保持严格的数学保证。其优化实现在大规模基准测试(如ImageNet)中显著降低了计算开销。此外,库内的严格测试发现了现有实现中的关键错误,凸显了标准化可靠工具的重要性。因此,正交库显著降低了应用门槛,为需要正交性与鲁棒李普希茨约束的多样化应用场景提供了可扩展的实验与集成支持。正交库可通过 https://github.com/deel-ai/orthogonium 获取。

0
下载
关闭预览

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
Github库分享:超全的PyTorch学习资源汇总
专知
25+阅读 · 2019年5月9日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月5日
VIP会员
相关VIP内容
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员