内積空間と直交性

内積・ノルムから直交化（グラム・シュミット）へ。対称行列の固有値問題と最小二乗法。

この単元の目標

内積からノルム・距離・角度を定義できる
グラム・シュミットの直交化を実行できる
実対称行列が直交行列で対角化できることを説明できる

📑 目次

内積とノルム
正規直交基底とグラム・シュミット
直交行列と対称行列

内積とノルム

\langle u, v \rangle = u^T v = \sum_i u_i v_i, \qquad \|u\| = \sqrt{\langle u, u \rangle}, \qquad \cos\theta = \frac{\langle u, v \rangle}{\|u\| \, \|v\|}

ここでは実ベクトルの標準内積を扱います。内積は「ベクトル空間に長さと角度を入れる装置」です。 $\langle u, v \rangle = 0$ のとき直交といいます。角度やコサイン類似度の式には $u,v\ne0$ が必要です。零ベクトルとの角度は定義しません。

プレイグラウンド: ベクトルの和と内積——内積の符号で鋭角・直角・鈍角が判定できることを確かめよう

正規直交基底とグラム・シュミット

互いに直交する単位ベクトルの組（正規直交系） $q_1, \dots, q_n$ を基底にすると座標が $\langle v, q_i \rangle$ だけで読み取れて計算が劇的に楽になります。任意の独立なベクトル列はグラム・シュミットの直交化で正規直交系に変換できます。

u_k = v_k - \sum_{i < k} \langle v_k, q_i \rangle q_i, \qquad q_k = \frac{u_k}{\|u_k\|}

直交行列と対称行列

直交行列 $Q$ ： $Q^TQ = I$ （列ベクトルが正規直交系）。ノルムと内積を保存する回転・鏡映
実対称行列 ( $A^T = A$ ) の固有値は必ず実数で、異なる固有値に属する固有ベクトルは直交
スペクトル定理：実対称行列は直交行列で対角化できる $A = QDQ^T$

応用の代表が最小二乗法です。 $A$ を実 $m\times n$ 行列として、誤差の二乗和 $\|Ax-b\|^2$ を最小にします。正規方程式は $A^TAx=A^Tb$ 。 $A$ の列が一次独立のときに限り $A^TA$ は正則で、一意解 $x=(A^TA)^{-1}A^Tb$ を得ます。列が従属なら係数 $x$ は一意ではありませんが、近似値 $Ax$ （ $b$ の列空間への正射影）は一意です。

🔍 残差の直交性から正規方程式を導く

候補から任意の方向へ動かす
$\|A(x+h)-b\|^2=\|r\|^2+2h^TA^Tr+\|Ah\|^2,\quad r=Ax-b$
内積の分配法則で二乗を展開します。最小点では、どちら向きの微小変化でも値が減ってはいけません。
一次の項を消す
$A^Tr=0\quad\Longleftrightarrow\quad A^TAx=A^Tb$
残差が A のすべての列に直交するという条件です。このとき変化量は $\|Ah\|^2\ge0$ なので、確かに最小値となります。
一意性の条件を確かめる
$h^TA^TAh=\|Ah\|^2>0\quad(h\ne0)$
列が一次独立なら非零 h に対し Ah は非零となります。この正定値性が逆行列と一意解を保証します。

例題

$v_1 = (1, 0)^T$ , $v_2 = (1, 1)^T$ をグラム・シュミットで正規直交化せよ。

解答・解説

$q_1 = v_1 / \|v_1\| = (1, 0)^T$ 。 $u_2 = v_2 - \langle v_2, q_1 \rangle q_1 = (1,1)^T - 1 \cdot (1,0)^T = (0,1)^T$ より ** $q_2 = (0, 1)^T$ **

直交化と最小二乗法を計算する

$v_1=(1,1,0)^T$ , $v_2=(1,0,1)^T$ を正規直交化せよ。
ヒント
第 2 ベクトルから第 1 ベクトル方向の射影を引く。
解答・解説
$q_1=(1,1,0)^T/\sqrt2$ 。内積は $1/\sqrt2$ だから $u_2=(1,0,1)^T-(1,1,0)^T/2=(1/2,-1/2,1)^T$ 。ノルム $\sqrt{3/2}$ で割って $q_2=(1,-1,2)^T/\sqrt6$ 。内積は 0、各ノルムは 1 で検算できる。
データ $(t,y)=(0,1),(1,2),(2,2)$ に最小二乗直線 $y=a+ct$ をあてはめよ。
ヒント
$A$ の各行を $(1,t)$ 、観測値を $b=(1,2,2)^T$ とする。
解答・解説
$A^TA=\begin{pmatrix}3&3\\3&5\end{pmatrix}$ 、 $A^Tb=(5,6)^T$ 。 $3a+3c=5$ , $3a+5c=6$ より $c=1/2$ , $a=7/6$ 。求める直線は $y=7/6+t/2$ 。残差 $Ax-b=(1/6,-1/3,1/6)^T$ は $(1,1,1)^T$ と $(0,1,2)^T$ の両方に直交する。
$A=\begin{pmatrix}1&1\\1&1\end{pmatrix}$ 、 $b=(1,3)^T$ の最小二乗解をすべて求めよ。
ヒント
$s=x_1+x_2$ とおいて誤差を平方完成する。
解答・解説
誤差は $(s-1)^2+(s-3)^2=2(s-2)^2+2$ 。よって $x_1+x_2=2$ を満たすすべての $x$ が解で、最小誤差は 2。 $A^TA$ は正則ではなく逆行列の公式は使えないが、正射影 $Ax=(2,2)^T$ は一意に決まる。

📝 メモこの端末のみに保存

メモ欄はページ読み込み後に使えるようになります。