我们设计并实现了一个Python库,以一种高效、可扩展和简单的方式,帮助非专业人士使用所有这些强大的工具,并将其整合到数据科学家、实践者和应用研究人员的工作流程中。这个库中实现的算法在设计时考虑到了可用性和GPU效率,它们可以添加到任何PyTorch模型中,只需要额外的一行代码。我们展示了这些工具在时间序列分析设置的流形优化应用上的有效性。在这种情况下,使用正交和幺正优化来约束和正则化循环模型,避免消失和爆炸梯度问题。为GeoTorch设计的算法允许我们在该系列模型的标准测试中实现最先进的结果。我们使用比较几何中的工具来给出优化问题中感兴趣的量的边界。特别地,我们建立在(Kaul 1976)的工作之上,给出黎曼指数二阶导数的范数的明确界限。

成为VIP会员查看完整内容
22

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
96+阅读 · 2021年7月3日
PyTorch 学习笔记(五):Finetune和各层定制学习率
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
VIP会员
最新内容
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
5+阅读 · 今天5:05
《下一代无线网络中的多无人机通信资源管理》
专知会员服务
4+阅读 · 今天5:00
《同步多无人机系统中的故障与通信》
专知会员服务
4+阅读 · 7月29日
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
相关VIP内容
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
96+阅读 · 2021年7月3日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员