Частные производные и градиент: производная по одной переменной

Вы стоите на склоне холма и хотите понять рельеф под ногами. Штурвал ветра крутится во все стороны сразу — и это сбивает. Практичный ход: повернуться строго на восток и оценить подъём только в этом направлении, затем строго на север, и так по очереди. На этой поочерёдной оценке держится вся теория функций многих переменных — она называется частной производной.

Частная производная: замораживаем всё, кроме одной#

Частная производная функции $z=f(x,y)$ по $x$ — это обычная производная по $x$, вычисленная при замороженном $y$: переменную $y$ объявляем константой и дифференцируем, как в первом семестре. Обозначения: $f_x$, $z_x$ или $\frac{\partial z}{\partial x}$ — значок $\partial$ отличает частную производную от обычной $d$.

Симметрично определяется $\frac{\partial z}{\partial y}$ — теперь замораживается $x$. Геометрия: срезаем поверхность $z=f(x,y)$ вертикальной плоскостью $y=y_0$ и берём наклон получившейся кривой. Частная производная — это наклон среза, скорость изменения высоты при движении строго вдоль одной оси.

Разберём на примере. Пусть $f(x,y)=x^3+x{y}^2-2y$. Дифференцируем по $x$: слагаемое $x^3$ даёт $3x^2$, слагаемое $x{y}^2$ даёт $y^2$ (ведь $y^2$ — просто число-множитель), а $-2y$ исчезает как константа. Итог: $f_x=3x^2+y^2$. Теперь по $y$: $x^3$ исчезает, $x{y}^2$ даёт $2xy$, а $-2y$ даёт $-2$. Итог: $f_y=2xy-2$. В точке $(1,3)$: $f_x=3+9=12$, $f_y=6-2=4$.

На срезе всё видно. Поверхность $z=x^{2}y$ при фиксированном $y=k$ превращается в параболу $z=k{x}^2$: сдвигайте ползунок $k$ — и срез крутится. Наклон этого среза в точке $x=1$ равен $2k$, что в точности $f_x(1,k)=2xy$ при $x=1$.

Техника дифференцирования целиком переезжает из первого семестра: таблица производных, цепное правило, произведение и частное — всё работает. Если таблица подзабылась, она лежит в шпаргалке по производным, а набить руку можно в тренажёре производных — частные производные тренируются тем же движением.

Градиент: стрелка из производных#

Две частные производные в точке складываются в вектор. Градиент функции $f(x,y)$ — это вектор $\nabla f=\left(f_x;f_y\right)$, собранный из частных производных. У него есть направление и длина, и именно он отвечает на главный вопрос рельефа: куда идти, чтобы подниматься быстрее всего?

Два свойства делают градиент главным героем темы. Первое: градиент направлен по наискорейшему росту функции, а его длина равна скорости роста в этом направлении. Хотите подняться быстрее всего — шагайте вдоль $\nabla f$; хотите спуститься (например, искать минимум ошибки в машинном обучении) — шагайте против него, это и есть знаменитый градиентный спуск. Второе: градиент в точке перпендикулярен линии уровня, проходящей через неё. Карту из прошлого урока он пересекает под прямым углом — и этим мгновенно проверяется.

Проверим на $f(x,y)=x^2+y^2$. Градиент $\nabla f=(2x;2y)$ — радиальный вектор, смотрящий от центра. Линии уровня — окружности, а радиус им как раз перпендикулярен. Сходится: чем дальше от центра, тем длиннее стрелка и тем круче чаша.

Посчитаем градиент нашего примера $f(x,y)=x^3+x{y}^2-2y$ в точке $(1,3)$: $\nabla f=(12;4)$. Его длина $|\nabla f|=\sqrt{12^2+4^2}=\sqrt{160}\approx 12.6$ — максимальная скорость роста в этой точке. А направление — единичный вектор $(12;4)/12.6\approx (0.95;0.32)$: почти строго на восток, чуть-чуть на север.

Производная по направлению: любой компас, не только север

А что, если идти не вдоль оси, а под углом? Скорость роста в направлении единичного вектора $\vec{e}=(\cos \alpha ;\sin \alpha )$ называется производной по направлению и считается скалярным произведением:

Числа сходятся мгновенно. Для $\nabla f(1,3)=(12;4)$ и направления $\vec{e}=(0.6;0.8)$ (проверьте: $0.6^2+0.8^2=1$): $D=12\cdot 0.6+4\cdot 0.8=7.2+3.2=10.4$. Меньше максимума 12.6 — идём вполсилы. Направление строго против градиента даст $-12.6$: самый крутой спуск.

Полный дифференциал и касательная плоскость#

Обе частные производные объединяются в одну формулу — полный дифференциал. Он отвечает: если обе координаты слегка сдвинуть, насколько изменится функция? Для малых сдвигов $dx$ и $dy$ приращение приближается суммой вкладов:

Это линеаризация: поверхность возле точки почти неотличима от касательной плоскости $z=f(x_0,y_0)+f_x(x_0,y_0)(x-x_0)+f_y(x_0,y_0)(y-y_0)$. Пример: $z=x^2+y^2$ в точке $(1,2)$. Высота $f=5$, $f_x=2$, $f_y=4$, плоскость $z=5+2(x-1)+4(y-2)$, то есть $z=2x+4y-5$.

Приближение работает на удивление хорошо. Оценим $(1.02{)}^2+(1.97{)}^2$ без калькулятора: $5+2\cdot 0.02+4\cdot (-0.03)=5+0.04-0.12=4.92$. Точный ответ $1.0404+3.8809=4.9213$. Ошибка меньше сотой — а считали в уме. Именно так физики и инженеры прикидывают погрешности косвенных измерений: сдвиг каждого аргумента умножается на его частную производную.

Смешанные производные: важен ли порядок

От частных производных можно брать производные снова — получаются производные высших порядков: $f_{xx}$, $f_{xy}$, $f_{yy}$. Запись $f_{xy}$ читается так: сначала дифференцируем по $x$, потом результат по $y$. Возникает резонный вопрос — важен ли порядок? Для функций с непрерывными вторыми производными нет: теорема Шварца гарантирует равенство $f_{xy}=f_{yx}$.

Проверим на $f(x,y)=x^2{y}^3$. Сначала по $x$, затем по $y$: $f_x=2x{y}^3$, тогда $f_{xy}=6x{y}^2$. Теперь в обратном порядке: $f_y=3x^2{y}^2$, тогда $f_{yx}=6x{y}^2$. Совпало — теорема работает. Смешанные производные не просто упражнение: позже они составят матрицу Гессе, по которой отличают минимумы функций двух переменных от максимумов и седел.

1. 1
   Выписать функцию и зафиксировать точку $(x_0,y_0)$
2. 2
   Найти $f_x$, держа $y$ за константу; полезно проверить результат в какой-нибудь простой точке
3. 3
   Найти $f_y$, держа $x$ за константой
4. 4
   Подставить координаты точки в обе производные
5. 5
   Собрать вектор $(f_x;f_y)$; при нужде вычислить модуль $\sqrt{f_x^2+f_y^2}$ и направление

Зачем всё это нужно#

Предельный вопрос экономики: на копейку увеличить зарплаты или рекламу? Частные производные выпуска по каждому ресурсу — предельные эффективности — дают точный ответ, а градиент показывает, куда двигать ресурсы целиком. В физике градиент температуры задаёт поток тепла, градиент потенциала — силу, действующую на заряд. В обучении нейросетей шаг вниз по градиенту функции ошибки — рабочий механизм, на котором стоит вся современная практика.

• Частная производная: дифференцируем по одной переменной, остальные заморожены
• Градиент $\nabla f=(f_x;f_y)$ — вектор; направлен к наискорейшему росту, перпендикулярен линиям уровня
• Производная по направлению $\nabla f\cdot \vec{e}$: максимум по $\vec{e}=\nabla f/|\nabla f|$, минимум — против градиента
• Полный дифференциал $dz=f_{x}dx+f_{y}dy$ — главный инструмент приближённых вычислений и оценки погрешностей
• Касательная плоскость в 2D — родственница касательной прямой из первого семестра

Следующий шаг курса — измерять не скорости, а объёмы: в уроке про двойные интегралы суммирование приращений превращается в интеграл по области. Накопленный багаж не пропадёт: двойной интеграл в полярных координатах считается через те же якобианы, которые растут из частных производных. Если обычная производная ещё плавает, вернитесь к основам: производная: определение, а дальше — функции нескольких переменных и карта линий уровня.