我们设计并实现了一个Python库,以一种高效、可扩展和简单的方式,帮助非专业人士使用所有这些强大的工具,并将其整合到数据科学家、实践者和应用研究人员的工作流程中。这个库中实现的算法在设计时考虑到了可用性和GPU效率,它们可以添加到任何PyTorch模型中,只需要额外的一行代码。我们展示了这些工具在时间序列分析设置的流形优化应用上的有效性。在这种情况下,使用正交和幺正优化来约束和正则化循环模型,避免消失和爆炸梯度问题。为GeoTorch设计的算法允许我们在该系列模型的标准测试中实现最先进的结果。我们使用比较几何中的工具来给出优化问题中感兴趣的量的边界。特别地,我们建立在(Kaul 1976)的工作之上,给出黎曼指数二阶导数的范数的明确界限。

成为VIP会员查看完整内容
22

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
96+阅读 · 2021年7月3日
PyTorch 学习笔记(五):Finetune和各层定制学习率
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
VIP会员
最新内容
马赛克战:俄乌战场透析
专知会员服务
0+阅读 · 26分钟前
《利用人工智能增强军事决策》
专知会员服务
0+阅读 · 29分钟前
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
0+阅读 · 36分钟前
为何指挥所生存能力要求范式转变
专知会员服务
0+阅读 · 44分钟前
“蛛网”行动一周年:远程无人机战争
专知会员服务
0+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
5+阅读 · 6月9日
为初级军官战术训练设计生成式人工智能平台
专知会员服务
7+阅读 · 6月9日
《美军条令:作战伤员后送保障》
专知会员服务
5+阅读 · 6月9日
相关VIP内容
【开放书】《矩阵流形优化算法》,241页pdf
专知会员服务
96+阅读 · 2021年7月3日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员