梯度下降法
- Home
- AI 知识库
- 数学基础
梯度下降法 – Gradient descent
Section titled “梯度下降法 – Gradient descent”文章目录
什么是梯度下降法？
Section titled “什么是梯度下降法？”
梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。
我们以爬上山顶为例
假设我们位于一座山的山腰处，没有地图，并不知道如何到达山顶。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易上山的方向前进一步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山顶。这里通过最陡峭的路径上山的方向就是梯度。
梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 查看详情
梯度下降是用于找到函数最小值的一阶 迭代 优化 算法。为了使用梯度下降找到函数的局部最小值，需要采用与当前点处函数的梯度（或近似梯度）的负值成比例的步长。相反，如果采用与梯度的正值成比例的步长，则接近该函数的局部最大值 ; 然后将该过程称为梯度上升。 梯度下降也称为最陡下降。但是，梯度下降不应与最速下降的最速下降方法相混淆。 查看详情
简单的梯度下降算法，你真的懂了吗？ 深度研究自然梯度优化，从入门到放弃 | Deep Reading 2019年1月6日 by 打不死的小强 Updated: 2022年8月16日
Section titled “简单的梯度下降算法，你真的懂了吗？ 深度研究自然梯度优化，从入门到放弃 | Deep Reading 2019年1月6日 by 打不死的小强 Updated: 2022年8月16日”Gradient descent, 梯度下降法 Thanks for your rating! You have already rated this article An error occured, please try again later
Was This Article Helpful?
Section titled “Was This Article Helpful?”3
这篇文章讲了什么？
Section titled “这篇文章讲了什么？”本文介绍了相关AI概念的基本原理和应用场景。
有什么实际应用？
Section titled “有什么实际应用？”该技术在计算机视觉、自然语言处理、推荐系统等领域有广泛应用。