会员服务
前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部，参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同，在它内部不会构成有向环。
Steering MoE LLMs via Expert (De)Activation
Arxiv
0+阅读 · 2月12日
Revealing the Challenges of Attention-FFN Disaggregation for Modern MoE Models and Hardware Systems
Arxiv
0+阅读 · 2月10日
Inheritance Between Feedforward and Convolutional Networks via Model Projection
Arxiv
0+阅读 · 2月5日
Revisiting the Shape Convention of Transformer Language Models
Arxiv
0+阅读 · 2月6日
Dense Neural Networks are not Universal Approximators
Arxiv
0+阅读 · 2月10日
Dense Neural Networks are not Universal Approximators
Arxiv
0+阅读 · 2月7日
CliffordNet: All You Need is Geometric Algebra
Arxiv
0+阅读 · 2月15日
GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization
Arxiv
0+阅读 · 1月29日
MAR: Efficient Large Language Models via Module-aware Architecture Refinement
Arxiv
0+阅读 · 1月29日
STEM: Scaling Transformers with Embedding Modules
Arxiv
0+阅读 · 1月15日
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
Arxiv
0+阅读 · 1月25日
CliffordNet: All You Need is Geometric Algebra
Arxiv
0+阅读 · 1月11日
HyMoERec: Hybrid Mixture-of-Experts for Sequential Recommendation
Arxiv
0+阅读 · 2025年11月9日
Flash Multi-Head Feed-Forward Network
Arxiv
0+阅读 · 2025年12月7日
Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
Arxiv
0+阅读 · 2024年11月4日
参考链接
微信扫码咨询专知VIP会员
Top