Linear recurrent neural networks (LRNNs) provide a structured approach to sequence modeling that bridges classical linear dynamical systems and modern deep learning, offering both expressive power and theoretical guarantees on stability and trainability. In recent years, multiple LRNN-based architectures have been proposed, each introducing distinct parameterizations, discretization schemes, and implementation constraints. However, existing implementations are fragmented across different software frameworks, often rely on framework-specific optimizations, and in some cases require custom CUDA kernels or lack publicly available code altogether. As a result, using, comparing, or extending LRNNs requires substantial implementation effort. To address this, we introduce $\texttt{lrnnx}$, a unified software library that implements several modern LRNN architectures under a common interface. The library exposes multiple levels of control, allowing users to work directly with core components or higher-level model abstractions. $\texttt{lrnnx}$ aims to improve accessibility, reproducibility, and extensibility of LRNN research and applications. We make our code available under a permissive MIT license.


翻译:线性循环神经网络(LRNN)为序列建模提供了一种结构化方法,它连接了经典的线性动态系统和现代深度学习,在表达能力和稳定性、可训练性的理论保证方面均提供了优势。近年来,多种基于LRNN的架构被提出,每种架构都引入了不同的参数化方法、离散化方案和实现约束。然而,现有的实现分散在不同的软件框架中,通常依赖于特定框架的优化,在某些情况下需要自定义CUDA内核,或者完全缺乏公开可用的代码。因此,使用、比较或扩展LRNN需要大量的实现工作。为解决此问题,我们引入了$\texttt{lrnnx}$,这是一个统一的软件库,它在通用接口下实现了多种现代LRNN架构。该库提供了多级控制,允许用户直接操作核心组件或更高级别的模型抽象。$\texttt{lrnnx}$旨在提高LRNN研究和应用的可访问性、可复现性和可扩展性。我们的代码以宽松的MIT许可证提供。

0
下载
关闭预览

相关内容

循环神经网络(RNN)是一类人工神经网络,其中节点之间的连接沿时间序列形成有向图。 这使其表现出时间动态行为。 RNN源自前馈神经网络,可以使用其内部状态(内存)来处理可变长度的输入序列。这使得它们适用于诸如未分段的,连接的手写识别或语音识别之类的任务。
神经网络的基础数学
专知会员服务
208+阅读 · 2022年1月23日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
226+阅读 · 2020年4月11日
神经网络的基础数学,95页pdf
专知
29+阅读 · 2022年1月23日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
RNN | RNN实践指南(1)
KingsGarden
21+阅读 · 2017年4月4日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员