梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法），虽然常说常听常见，但其细节、物理意义以及几何解释还是值得深挖一下，这些不清楚，梯度就成了“熟悉的陌生人”，仅仅“记住就完了”在用时难免会感觉不踏实。本文通过绘制三维图，结合数学公式，非常直观解释了梯度、偏导数、方向导数以及法向量等机器学习中常用数学工具以及之间关系。

本文将尝试直观地回答以下几个问题，

  • 梯度与偏导数的关系？
  • 梯度与方向导数的关系？
  • 为什么说梯度方向是上升最快的方向，负梯度方向为下降最快的方向？
  • 梯度的模有什么物理意义？
  • 等高线图中绘制的梯度为什么垂直于等高线？
  • 全微分与隐函数的梯度有什么关系？
  • 梯度为什么有时又成了法向量？

闲话少说，书归正传。在全篇“作用域”内，假定函数可导。

内容中包含的图片若涉及版权问题，请及时与我们联系删除