Евклидовы пространства: скалярное произведение и Грам–Шмидт

Онлайн-магазин показывает блок «похожие товары». Как машина поняла, что пенал похож на канцелярский набор? Каждый товар — точка в пространстве признаков: цена, вес, возрастная категория, десятки колонок. Похожесть — это угол между векторами, а угол требует умения измерять длины и скалярные произведения. Инструмент, который даёт геометрию любому векторному пространству, — евклидова структура. Ниже — три опоры этой конструкции: аксиомы скалярного произведения, алгоритм Грама–Шмидта с полным расчётом и проекция, которая в прикладных задачах носит имя «метод наименьших квадратов».

Что делает линейное пространство евклидовым?#

Сами по себе линейные пространства — арифметика без линейки: векторы складываются и растягиваются, но «длины» и «углы» в них не определены. Пробел закрывает скалярное произведение — операция, ставящая паре векторов число и подчиняющаяся трём правилам:

Линейное пространство, в котором зафиксирована такая операция, называется евклидовым. В ${\mathbb{R}}^n$ стандартный выбор — сумма произведений координат: $(a,b)=a_1{b}_1+\cdots +a_n{b}_n$. Это не единственный вариант (интегралы в пространствах функций тоже подходят), но именно с него начинают — подробности в уроке про скалярное произведение. Разбор самих пространств без метрики — в линейных пространствах, базовые действия с координатами освежает урок векторы и операции, а словарь напоминает, что такое вектор.

Как только скалярное произведение задано, геометрия собирается автоматически. Длина вектора — корень из его произведения на себя, а угол между векторами — через отношение произведения к произведению длин:

Проверим на числах. Пусть $a=(1,2,2)$ и $b=(2,-1,2)$. Скалярное произведение: $(a,b)=1\cdot 2+2\cdot (-1)+2\cdot 2=2-2+4=4$. Длины: $|a|=\sqrt{1+4+4}=3$ и $|b|=\sqrt{4+1+4}=3$. Значит, $\cos \phi =\frac{4}{9}\approx 0,44$, то есть $\phi \approx 63,6^{\circ }$. Три действия — и у пары векторов появились длина, угол и расстояние $|a-b|$.

Осталась одна брешь: а вдруг дробь $\frac{(a,b)}{|a||b|}$ вылезет за пределы отрезка $[-1,1]$, и угол перестанет существовать? Застраховать формулу должно неравенство, которое называют «жемчужиной элементарной математики»:

Доказательство занимает один абзац. Рассмотрим квадратичную функцию $f(t)=|a+tb{|}^2=(a,a)+2t(a,b)+t^2(b,b)$. Она неотрицательна при любом $t$ — это квадрат длины. Значит, дискриминант неположителен: $4(a,b{)}^2-4(a,a)(b,b)\le 0$, что и требовалось. На наших векторах: $|4|\le 3\cdot 3=9$ — запас почти вдвое, векторы далеки от коллинеарности. Крайний случай $(a,b)=|a||b|$ — сонаправленные векторы; если же произведение ноль, векторы ортогональны, и работает школьная теорема Пифагора: $|a+b{|}^2=|a{|}^2+|b{|}^2$.

Из «жемчужины» мгновенно вытекает неравенство треугольника: $|a+b{|}^2=|a{|}^2+2(a,b)+|b{|}^2\le (|a|+|b|{)}^2$. Кратчайший путь по прямой не длиннее ломаной через вершину — теперь это теорема, а не картинка. Заодно решается вопрос о законности угла: правая часть формулы косинуса ограничена единицей при любых векторах, значит $\phi$ существует всегда, для какой бы пары мы ни взялись.

Магазинный пример теперь считается на пальцах. Признаки товара — координаты вектора, похожесть — косинус угла: значения около единицы означают «почти одно и то же», около нуля — независимые товары, отрицательный косинус — противоположные. Косинусную близость любят именно за независимость от длины вектора: пользователь, ставящий всем товарам высокие оценки, не портит рекомендации. Проверьте на интерактиве выше: растяните один вектор, не трогая другой, — угол не изменится. Так аксиома из одного абзаца доезжает до работающего сервиса.

Как из любого базиса сделать ортонормированный?#

Считать в ортогональном базисе — одно удовольствие: координаты вынимаются скалярными произведениями, решения СЛАУ не разбухают, а численные алгоритмы не теряют точность. Проблема в том, что на практике базисы приходят косыми. Процесс Грама–Шмидта чинит это за один проход: каждый следующий вектор очищается от компонент вдоль уже готовых направлений. Формула для шага номер $k$:

Почему остаток ортогонален? Возьмём скалярное произведение $b_k$ с любым $b_i$: произведение $a_k$ с $b_i$ сокращается с ровно той же дробью, которую мы вычли, — все лишние слагаемые гасятся. Запускать процесс удобнее не по формуле, а руками. Пройдём полный пример с тремя векторами: $a_1=(1,1,0)$, $a_2=(2,1,1)$, $a_3=(1,2,3)$.

1. 1
   Первый вектор нечего очищать: $b_1=a_1=(1,1,0)$, и $|b_1{|}^2=2$.
2. 2
   Проекция $a_2$ на $b_1$: $(a_2,b_1)=2+1+0=3$. Вычитаем $\frac{3}{2}{b}_1$: $b_2=(2,1,1)-(\frac{3}{2},\frac{3}{2},0)=(\frac{1}{2},-\frac{1}{2},1)$, причём $|b_2{|}^2=\frac{1}{4}+\frac{1}{4}+1=\frac{3}{2}$.
3. 3
   Для $a_3$ нужны две проекции: $(a_3,b_1)=3$ и $(a_3,b_2)=\frac{1}{2}-1+3=\frac{5}{2}$. Коэффициенты: $\frac{3}{2}$ и $\frac{5/2}{3/2}=\frac{5}{3}$.
4. 4
   Вычитаем обе: $b_3=(1,2,3)-(\frac{3}{2},\frac{3}{2},0)-(\frac{5}{6},-\frac{5}{6},\frac{5}{3})=(-\frac{4}{3},\frac{4}{3},\frac{4}{3})$, и $|b_3{|}^2=\frac{16}{3}$.
5. 5
   Проверка: $(b_1,b_2)=(b_1,b_3)=(b_2,b_3)=0$ — базис ортогональный. Нормируем: $e_1=\frac{(1,1,0)}{\sqrt{2}}$, $e_2=\frac{(1,-1,2)}{\sqrt{6}}$, $e_3=\frac{(-1,1,1)}{\sqrt{3}}$.

Загляните в последний шаг ещё раз: числители $e_2$ и $e_3$ — это векторы $b_2$ и $b_3$, умноженные на подходящие целые (для $b_2$ умножение на 2 убирает дроби: $(1,-1,2)$, длина $\sqrt{6}$). Дроби в промежуточных выкладках — не приговор, а следствие неудачной нумерации; финальные векторы часто выходят красивыми. Словарь про базис напомнит, что ортогональных базисов у пространства бесконечно много — процесс стартует с любого.

Что даёт ортонормированность на практике? Любой вектор раскладывается мгновенно: $a=(a,e_1)e_1+(a,e_2)e_2+(a,e_3)e_3$ — координаты вынимаются по одной, без систем уравнений. В косом базисе ту же задачу пришлось бы решать через СЛАУ с матрицей перехода. За это ускорение и любит ортогонализацию вся вычислительная линейная алгебра.

Куда деваются лишние векторы: дополнения, проекции и МНК#

Пусть $U$ — подпространство, например плоскость через начало координат в ${\mathbb{R}}^3$. Векторы, ортогональные всему $U$ сразу, образуют ортогональное дополнение $U^{\perp }$ — и это тоже подпространство. Размерности складываются в размерность всего пространства: $\dim U+\dim U^{\perp }=n$, а любой вектор $a$ единственным образом распадается на сумму проекции и ортогональной добавки: $a={\text{пр}}_{U}a+r$, где $r\in U^{\perp }$.

Проекция — это ближайшая к $a$ точка подпространства. Если $e_1,\dots ,e_m$ — ортонормированный базис $U$ (полученный, например, Грамом–Шмидтом), ответ выписывается без систем:

По теореме Пифагора для распада $a=\text{пр}+r$ длина складывается из частей: $|a{|}^2=|{\text{пр}}_{U}a{|}^2+|r{|}^2$. Значит, проекция не длиннее исходного вектора, а равенство возможно только когда добавки нет вовсе. Термин проекция вектора разбирает частный случай — проекцию на прямую.

1. 1
   Возьмём $a=(2,0,3)$ и прямую по направлению $b=(1,1,0)$; квадрат длины направления $(b,b)=2$.
2. 2
   Коэффициент: $\frac{(a,b)}{(b,b)}=\frac{2}{2}=1$, проекция $\text{пр}=(1,1,0)$.
3. 3
   Невязка $r=a-\text{пр}=(1,-1,3)$; проверка: $(r,b)=1-1+0=0$ — ортогональна прямой.
4. 4
   Расстояние до прямой: $|r|=\sqrt{11}\approx 3,32$ — меньше $|a-tb|$ при любом другом $t$.

Откуда берётся равенство $\dim U+\dim U^{\perp }=n$? Возьмите базис $U$, прогоните через Грама–Шмидта, достройте до базиса всего пространства и продолжьте процесс — новодобавленные векторы очищаются и от направлений $U$, то есть автоматически ложатся в $U^{\perp }$. Получается базис всего пространства из двух ортогональных кусков, и счёт размерностей замыкается без тёмной магии.

А теперь мостик в прикладную математику. Пусть система $Ax=b$ переопределена — уравнений больше, чем неизвестных, точного решения нет (датчик шумит, точки не лежат на прямой). Раз точного попадания нет, ищем лучшее приближение: вектор $x$, у которого невязка $b-Ax$ как можно короче. Картинка — та же, что в школьной задаче о кратчайшем отрезке: перпендикуляр из точки на плоскость короче любой наклонной. Столбцы матрицы $A$ натягивают подпространство; минимум длины невязки достигается, когда она ортогональна этому подпространству целиком: $A^T(b-Ax)=0$. Раскрываем скобки — и получаем нормальные уравнения:

Та же геометрия, что и у пенала с рекомендациями: «лучший компромисс» — это проекция, а проекция — это ортогональность невязки. Полный вычислительный конвейер, включая квадратичную форму $|Ax-b{|}^2$ и решение через обращение $A^{T}A$, — в уроке метод наименьших квадратов; отдельная словарная статья — МНК. Дальше по теме: как квадратичные выражения приводятся к каноническому виду — в квадратичных формах, а ортонормированные базисы из собственных векторов — в собственных значениях. Формулы для повторения собраны в шпаргалке по векторной алгебре.

• Евклидова структура = линейное пространство плюс скалярное произведение с тремя аксиомами
• Длина $|a|=\sqrt{(a,a)}$, угол $\cos \phi =\frac{(a,b)}{|a||b|}$ — законность гарантирует Коши–Буняковский
• Грам–Шмидт: вычитаем проекции на промежуточные $b_j$, знаменатель — $(b_j,b_j)$, не $|b_j|$
• Проверка ортогональности бесплатна: перемножьте векторы попарно
• МНК — это проекция: нормальные уравнения $A^{T}Ax=A^{T}b$ говорят «невязка ортогональна столбцам»