This paper establishes the optimal approximation error characterization of deep ReLU networks for smooth functions in terms of both width and depth simultaneously. To that end, we first prove that multivariate polynomials can be approximated by deep ReLU networks of width $\mathcal{O}(N)$ and depth $\mathcal{O}(L)$ with an approximation error $\mathcal{O}(N^{-L})$. Through local Taylor expansions and their deep ReLU network approximations, we show that deep ReLU networks of width $\mathcal{O}(N\ln N)$ and depth $\mathcal{O}(L\ln L)$ can approximate $f\in C^s([0,1]^d)$ with a nearly optimal approximation error $\mathcal{O}(\|f\|_{C^s([0,1]^d)}N^{-2s/d}L^{-2s/d})$. Our estimate is non-asymptotic in the sense that it is valid for arbitrary width and depth specified by $N\in\mathbb{N}^+$ and $L\in\mathbb{N}^+$, respectively.

翻译：本文同时为宽度和深度的平滑函数的深 ReLU 网络设置最佳近似错误描述。 为此, 我们首先证明, 宽度为$\ mathcal{O}( N) $ 和深度为$\ mathcal{O}( L) 的深 ReLU 网络可以同时为宽度和深度的平滑函数设定最佳近似错误。 我们通过本地的 Taylor 扩展及其深ReLU 网络近似值, 我们显示, 宽度为$\ mathcal{ O}( N\ ln N) 的深ReLU 网络和深度为$\ mathcal{O}( L\ ln) $( $\ c% ( [ 0, 1\ d) 美元, 近似最佳近似近似近似误差 $\\ mathc{ O} ( { *\\\\\\ c% d} n% d) 。 我们的估计是非静态的网度网络,, 它对任意宽度和深度都有效, $\\\\ n\ n\ n\ n\\\\\ n} lexxxx 美元 具体指定 美元。