会员服务
前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部，参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同，在它内部不会构成有向环。
NerVE: Nonlinear Eigenspectrum Dynamics in LLM Feed-Forward Networks
Arxiv
0+阅读 · 3月16日
UAOR: Uncertainty-aware Observation Reinjection for Vision-Language-Action Models
Arxiv
0+阅读 · 2月20日
Thicker and Quicker: A Jumbo Token for Fast Plain Vision Transformers
Arxiv
0+阅读 · 3月1日
Steering MoE LLMs via Expert (De)Activation
Arxiv
0+阅读 · 2月12日
Revealing the Challenges of Attention-FFN Disaggregation for Modern MoE Models and Hardware Systems
Arxiv
0+阅读 · 2月10日
Inheritance Between Feedforward and Convolutional Networks via Model Projection
Arxiv
0+阅读 · 2月5日
Revisiting the Shape Convention of Transformer Language Models
Arxiv
0+阅读 · 2月6日
Dense Neural Networks are not Universal Approximators
Arxiv
0+阅读 · 2月10日
Dense Neural Networks are not Universal Approximators
Arxiv
0+阅读 · 2月7日
CliffordNet: All You Need is Geometric Algebra
Arxiv
0+阅读 · 2月15日
GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization
Arxiv
0+阅读 · 1月29日
MAR: Efficient Large Language Models via Module-aware Architecture Refinement
Arxiv
0+阅读 · 1月29日
STEM: Scaling Transformers with Embedding Modules
Arxiv
0+阅读 · 1月15日
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
Arxiv
0+阅读 · 1月25日
CliffordNet: All You Need is Geometric Algebra
Arxiv
0+阅读 · 1月11日
参考链接
微信扫码咨询专知VIP会员
Top