Stock Data

三）阿达格拉德
ADAGRAD 使用自适应技术来更新学习率，而不是使其保持不变。学习率会根据之前发生的迭代中梯度的变化情况而变化。这是伪代码：

grad_component = previous_grad_component +（梯度*梯度）rate_change = square_root（grad_component）+ epsilon adapted_learning_rate = learning_rate * rate_change




这里，epsilon 是常数。它用于将学 科特迪瓦手机号码列表 习率的变化率保持在限制范围内。

（四）亚当
从某种程度上来说，ADAM 是动量和 ADAGRAD 的结合。与 ADAGRAD 一样，它是一种自适应技术。它使用两个常数 beta 1 和 beta 来将学习率的变化率和梯度的变化保持在限制范围内。

这是伪代码。

adapted_gradient = previous_gradient + ((gradient – previous_gradient) * (1 – beta1)) gradient_component = (gradient_change – previous_learning_rate) adapted_learning_rate = previous_learning_rate + (gradient_component * (1 – beta2))



更新 = adapted_learning_rate * adapted_gradient参数 = 参数 - 更新


执行梯度下降的挑战
梯度下降机器学习算法是最成功的优化技术之一，具有良好的记录。然而，在某些情况下，它变得难以使用。以下是梯度下降的一些挑战。

(i) 梯度下降执行不当会导致梯度消失或爆炸等问题。这些问题通常发生在梯度过大或过小的情况下。结果，算法最终不会收敛。

(ii) 您需要关注硬件和软件考虑因素以及浮点要求。

（iii）你需要确保清楚了解梯度下降机器学习算法执行所需的内存。如果内存不足，执行很可能会失败。

（iv）梯度下降仅在凸优化问题定义明确的情况下才有效。如果不是这种情况，这种优化技术不太可能奏效。

（v）数据中可能存在梯度为零但并非最优的点。这样的点称为鞍点。这对该方法的有效性提出了重大挑战，目前尚未找到适当的解决方案。

(vi) 在执行过程中，您可能会遇到许多最小点。其中最小的是全局最小值，而其他的是局部最小值。确保找到全局最小值并忽略众多局部最小值是一项相当大的挑战。