Градиент

Градиент функции многих переменных — вектор из частных производных: $\nabla f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\dots \right)$. Это компас на склоне горы: указывает направление самого крутого подъёма, а его длина — крутизну.

Антиградиент ($-\nabla f$) — направление спуска. На этом стоит градиентный спуск — алгоритм, на котором обучаются все нейросети: шаг за шагом двигаемся против градиента ошибки, пока не скатимся в минимум.