会员服务
2Mamba2Furious: Linear in Complexity, Competitive in Accuracy
Arxiv
0+阅读 · 2月19日
HLA: Hadamard Linear Attention
Arxiv
0+阅读 · 2月12日
RAM-Net: Expressive Linear Attention with Selectively Addressable Memory
Arxiv
0+阅读 · 2月12日
MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
Arxiv
0+阅读 · 2月12日
Learning to Remember, Learn, and Forget in Attention-Based Models
Arxiv
0+阅读 · 2月11日
Kalman Linear Attention: Parallel Bayesian Filtering For Efficient Language Modelling and State Tracking
Arxiv
0+阅读 · 2月11日
The Key to State Reduction in Linear Attention: A Rank-based Perspective
Arxiv
0+阅读 · 2月12日
SLA2: Sparse-Linear Attention with Learnable Routing and QAT
Arxiv
0+阅读 · 2月13日
Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
Arxiv
0+阅读 · 2月5日
Plug-and-play linear attention with provable guarantees for training-free image restoration
Arxiv
0+阅读 · 2月5日
ZeroS: Zero-Sum Linear Attention for Efficient Transformers
Arxiv
0+阅读 · 2月5日
The Key to State Reduction in Linear Attention: A Rank-based Perspective
Arxiv
0+阅读 · 2月4日
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
Arxiv
0+阅读 · 2月2日
LINA: Linear Autoregressive Image Generative Models with Continuous Tokens
Arxiv
0+阅读 · 1月30日
State Rank Dynamics in Linear Attention LLMs
Arxiv
0+阅读 · 2月2日
参考链接
微信扫码咨询专知VIP会员
Top