We study the fundamental limits to the expressive power of neural networks. Given two sets $F$, $G$ of real-valued functions, we first prove a general lower bound on how well functions in $F$ can be approximated in $L^p(\mu)$ norm by functions in $G$, for any $p \geq 1$ and any probability measure $\mu$. The lower bound depends on the packing number of $F$, the range of $F$, and the fat-shattering dimension of $G$. We then instantiate this bound to the case where $G$ corresponds to a piecewise-polynomial feed-forward neural network, and describe in details the application to two sets $F$: H{\"o}lder balls and multivariate monotonic functions. Beside matching (known or new) upper bounds up to log factors, our lower bounds shed some light on the similarities or differences between approximation in $L^p$ norm or in sup norm, solving an open question by DeVore et al. (2021). Our proof strategy differs from the sup norm case and uses a key probability result of Mendelson (2002).

翻译：我们研究神经网络表达力的根本限制。 如果有两套F$, 即实际价值函数的G$, 我们首先证明, 以美元计算的功能按以美元计的函数, 以美元计的函数, 以美元计的函数, 以美元计的函数, 以美元计的, 以美元计的, 任何美元计的, 1美元 和任何概率量的 $ 。 下套值取决于美元的包装数量, 以美元计的, 以美元计的, 以美元计的, 以实际价值计的功能, 以美元计的, 以美元计的, 以美元计的, 以美元计的, 以美元计的, 以美元计的, 以美元计的, 美元计的, 以美元计的, 以美元计的, 以美元计的, 以美元计的, 以 美元计的 美元计的, 以美元计的 美元计的, 以 以 美元计的 以 美元计的 美元计的, 以 美元计的 以 美元计的 美元计的 。 我们首先证明一般的 。, 以, 以 以 的 的 以 以 的 以 平的 平的 的 的 以 的 美元计的 平的 平的 平的 的 的 的 的 的 的 公的 公的, 公的 公的 公的 公的 公的 公的 公的 公的 公的, 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的 公的