会员服务
Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构
Humans and transformer LMs: Abstraction drives language learning
Humans and transformer LMs: Abstraction drives language learning
Arxiv
0+阅读 · 3月18日
Long-Horizon Traffic Forecasting via Incident-Aware Conformal Spatio-Temporal Transformers
Arxiv
0+阅读 · 3月17日
What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
Arxiv
0+阅读 · 3月17日
A Survey of Mamba
Arxiv
0+阅读 · 3月17日
Learning to Recall with Transformers Beyond Orthogonal Embeddings
Arxiv
0+阅读 · 3月16日
Qubit-centric Transformer for Surface Code Decoding
Arxiv
0+阅读 · 3月16日
Directional Routing in Transformers
Arxiv
0+阅读 · 3月16日
Transformers As Generalizable Optimal Controllers
Arxiv
0+阅读 · 3月16日
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
Arxiv
0+阅读 · 3月16日
Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors
Arxiv
0+阅读 · 3月14日
Why Softmax Attention Outperforms Linear Attention
Arxiv
0+阅读 · 3月13日
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Arxiv
0+阅读 · 3月13日
Not Like Transformers: Drop the Beat Representation for Dance Generation with Mamba-Based Diffusion Model
Arxiv
0+阅读 · 3月9日
Surgical Repair of Collapsed Attention Heads in ALiBi Transformers
Arxiv
0+阅读 · 3月10日
RAViT: Resolution-Adaptive Vision Transformer
Arxiv
0+阅读 · 2月27日
参考链接
微信扫码咨询专知VIP会员
Top