会员服务
What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
Arxiv
0+阅读 · 3月17日
Exact Consistency Under Partial Views: Graph Colorability, Capacity, and Equality in Multi-Location Encodings
Arxiv
0+阅读 · 3月16日
Surgical Repair of Collapsed Attention Heads in ALiBi Transformers
Arxiv
0+阅读 · 3月10日
Zero-Incoherence Capacity of Interactive Encoding Systems: Achievability, Converse, and Side Information Bounds
Arxiv
0+阅读 · 2月26日
LLMs are Bayesian, In Expectation, Not in Realization
Arxiv
0+阅读 · 2月22日
ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA
Arxiv
0+阅读 · 3月10日
Beyond Positional Encoding: A 5D Spatio-Directional Hash Encoding
Arxiv
0+阅读 · 3月5日
Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
Arxiv
0+阅读 · 2月23日
Group Representational Position Encoding
Arxiv
0+阅读 · 2月23日
Group Representational Position Encoding
Arxiv
0+阅读 · 2月19日
Trie-Aware Transformers for Generative Recommendation
Arxiv
0+阅读 · 2月25日
Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation
Arxiv
0+阅读 · 2月17日
MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings
Arxiv
0+阅读 · 2月6日
FlexAM: Flexible Appearance-Motion Decomposition for Versatile Video Generation Control
Arxiv
0+阅读 · 2月13日
Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers
Arxiv
0+阅读 · 2月15日
参考链接
微信扫码咨询专知VIP会员
Top