会员服务
在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络，根据输入的不同，激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而，只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题，并且这样的激活函数被称为非线性。
It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks
It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks
Arxiv
0+阅读 · 6月22日
Learning Expressive Random Feature Models via Parametrized Activations
Arxiv
0+阅读 · 6月19日
Shifting-based Optimizable Linear Relaxations for General Activation Functions
Arxiv
0+阅读 · 6月18日
Rational Sparse Autoencoder
Arxiv
0+阅读 · 6月16日
Sobolev Approximation by Fixed-Size Neural Networks with Arbitrary Accuracy
Arxiv
0+阅读 · 6月15日
How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs
Arxiv
0+阅读 · 6月15日
Z-Plane Neural Networks: Bounded Geometric Activation Replaces ReLU and LayerNorm
Arxiv
0+阅读 · 6月14日
IGLU: The Integrated Gaussian Linear Unit Activation Function
Arxiv
0+阅读 · 6月12日
On the Geometry and Optimization of Polynomial Convolutional Networks
Arxiv
0+阅读 · 6月12日
Shift-Invariant Attribute Scoring for Kolmogorov-Arnold Networks via Shapley Value
Arxiv
0+阅读 · 6月12日
Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
Arxiv
0+阅读 · 5月29日
A Unified Theory of Sinusoidal Activation Families for Implicit Neural Representations
Arxiv
0+阅读 · 6月11日
A Logical View of GNN-Style Computation and the Role of Activation Functions
Arxiv
0+阅读 · 5月26日
Fermi-Dirac machines as quantizations of neurons
Arxiv
0+阅读 · 5月23日
A Composite Activation Function for Learning Stable Binary Representations
Arxiv
0+阅读 · 6月12日
参考链接
微信扫码咨询专知VIP会员
Top