We present a novel data-driven strategy to choose the hyperparameter $k$ in the $k$-NN regression estimator. We treat the problem of choosing the hyperparameter as an iterative procedure (over $k$) and propose using an easily implemented in practice strategy based on the idea of early stopping and the minimum discrepancy principle. This model selection strategy is proven to be minimax-optimal, under the fixed-design assumption on covariates, over some smoothness function classes, for instance, the Lipschitz functions class on a bounded domain. The novel method shows consistent simulation results on artificial and real-world data sets in comparison to other model selection strategies, such as the Hold-out method and generalized cross-validation. The novelty of the strategy comes from reducing the computational time of the model selection procedure while preserving the statistical (minimax) optimality of the resulting estimator. More precisely, given a sample of size $n$, assuming that the nearest neighbors are already precomputed, if one should choose $k$ among $\left\{ 1, \ldots, n \right\}$, the strategy reduces the computational time of the generalized cross-validation or Akaike's AIC criteria from $\mathcal{O}\left( n^3 \right)$ to $\mathcal{O}\left( n^2 (n - k) \right)$, where $k$ is the proposed (minimum discrepancy principle) value of the nearest neighbors.

翻译：我们提出了一个基于新数据驱动的战略, 选择美元- 美元- NN 回归值的超参数 。 我们将选择超参数的问题当作一个迭代程序( 超过 美元), 并提议使用基于早期停止和最小差异原则的简单实际实施的战略 。 这个模式选择战略被证明是小型最大最佳的, 在固定设计假设的COVidate 下, 超越某些平滑函数等级, 比如, Lipschitz 在约束域上的 Lipschitz 函数类 。 这个新方法显示在人造和真实世界数据集上与其他模式选择战略相比的一致模拟结果, 如 暂停方法和普遍交叉校验。 这个战略的新颖性在于减少模型选择程序的计算时间, 同时保存由此得出的估计值的统计( 最小值) 最佳性。 更精确地说, 如果在$- left_ 1 美元/ 美元/ lidot_ 美元/ 美元/ rightright3 或 通用计算 A- 美元- rmal 标准( right_ 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- 美元- clocretra) 标准, 那么 战略降低, 那么- a- a- cal- a- cal- cal- cal- cal- cal- cal- cal- cal 标准 标准) 标准 则会降低, 那么 标准