We propose a novel Caputo fractional derivative-based optimization algorithm. Upon defining the Caputo fractional gradient with respect to the Cartesian coordinate, we present a generic Caputo fractional gradient descent (CFGD) method. We prove that the CFGD yields the steepest descent direction of a locally smoothed objective function. The generic CFGD requires three parameters to be specified, and a choice of the parameters yields a version of CFGD. We propose three versions -- non-adaptive, adaptive terminal and adaptive order. By focusing on quadratic objective functions, we provide a convergence analysis. We prove that the non-adaptive CFGD converges to a Tikhonov regularized solution. For the two adaptive versions, we derive error bounds, which show convergence to integer-order stationary point under some conditions. We derive an explicit formula of CFGD for quadratic functions. We computationally found that the adaptive terminal (AT) CFGD mitigates the dependence on the condition number in the rate of convergence and results in significant acceleration over gradient descent (GD). For non-quadratic functions, we develop an efficient implementation of CFGD using the Gauss-Jacobi quadrature, whose computational cost is approximately proportional to the number of the quadrature points and the cost of GD. Our numerical examples show that AT-CFGD results in acceleration over GD, even when a small number of the Gauss-Jacobi quadrature points (including a single point) is used.

翻译：我们提出一个新的卡普托分解派衍生物优化算法。 在定义卡普托分解梯度时, 我们给出了一种通用的卡普托分解梯度下降法( CFGD ) 。 我们证明, CFGD 是本地平滑目标函数的最陡峭的下降方向。 通用 CFGD 需要指定三个参数, 对参数的选择产生一个版本的 CFGD 。 我们提出三种版本 -- -- 非适应性、适应性终端和适应性顺序。 我们以二次目标函数为重点, 提供了一种趋同性分析。 我们证明, 不适应性CFGD 与 Tikhonov 常规化的解决方案相融合。 对于两种适应性版本, 我们的CFGD 设定了错误界限, 表明在某些条件下, CFGGD 与整形定序定点相趋同。 我们的CFD 适应性终端(AT) 减轻了对渐变速度和加速度下降( GGD ) 。 对于非二次函数来说, 我们开发了一个错误界限界限, 我们的GDDAD 和QAD 数字的计算结果, 在GD 上, 我们的GDBAGGD 数字的计算结果中, 是GDDDDDBA 的计算结果, 在GGDDDDBD 中, 在GGGD 上的一个比例的计算中, 在GD 。