Inner Product

在 $\mathbb{R}^2$ 和 $\mathbb{R}^3$ 中大家熟悉內積的定義也可以推廣到一般的 $\mathbb{R}^n$. 將來我們會知道內積可以幫助我們定義出 $\mathbb{R}^n$ 中許多重要的子空間, 在本節我們僅論及大家熟悉的內積性質在 $\mathbb{R}^n$ 的情況.

首先我們回顧在 $\mathbb{R}^2$ 和 $\mathbb{R}^3$ 中內積的定義. 若在 $\mathbb{R}^2$ 中 $\mathbf{u}=(a_1,a_2),\mathbf{v}=(b_1,b_2)$, 則 $\mathbf{u},\mathbf{v}$ 的內積 $\mathbf{u}\cdot\mathbf{v}$ 定義成 $\mathbf{u}\cdot\mathbf{v}=a_1b_1+a_2b_2$. 而在 $\mathbb{R}^3$ 中若 $\mathbf{u}=(a_1,a_2,a_3),\mathbf{v}=(b_1,b_2,b_3)$, 則 $\mathbf{u},\mathbf{v}$ 的內積 $\mathbf{u}\cdot\mathbf{v}$ 定義成 $\mathbf{u}\cdot\mathbf{v}=a_1b_1+a_2b_2+a_3b_3.$ 由這定義我們很自然地可推廣到 $\mathbb{R}^n$ 中向量的內積如下:

Definition 1.4.1   假設 $\mathbf{u}=(a_1,\dots,a_n),\mathbf{v}=(b_1,\dots,b_n)\in\mathbb{R}^n$. 則定義 $\mathbf{u},\mathbf{v}$ 的 inner product (內積) 為

$$\mathbf{u}\cdot\mathbf{v}=a_1b_1+\cdots+a_nb_n=\sum_{i=1}^na_ib_i.$$

向量的內積和向量的運算有一定的關係, 以下就是它們之間的關係

Proposition 1.4.2   對任意 $\mathbf{u},\mathbf{v}, \mathbf{w}\in\mathbb{R}^n$, 我們有以下的性質:

1. $\mathbf{u}\cdot\mathbf{v}=\mathbf{v}\cdot\mathbf{u}$.
2. $\mathbf{u}\cdot\mathbf{u}\ge 0$ 且 $\mathbf{u}\cdot\mathbf{u}=0$ 若且唯若 $\mathbf{u}=\mathbf{0}$.
3. 對任意 $r\in\mathbb{R}$ 皆有 $(r\mathbf{u})\cdot\mathbf{v}=\mathbf{u}\cdot(r\mathbf{v})=r(\mathbf{u}\cdot\mathbf{v}).$
4. $\mathbf{u}\cdot(\mathbf{v}+\mathbf{w})=\mathbf{u}\cdot\mathbf{v}+\mathbf{u}\cdot\mathbf{w}$.

証 明. 這些性質在 $\mathbb{R}^2$ 和 $\mathbb{R}^3$ 大家應都了解, 在 $\mathbb{R}^n$ 上的證明其實也一樣, 不同的是 $n$ 可以是任意自然數我們無法完整地寫下 $\mathbb{R}^n$ 中的向量, 而需藉由符號的幫助.

假設 $\mathbf{u}=(a_1,\dots,a_n),\mathbf{v}=(b_1,\dots,b_n),\mathbf{w}=(c_1,\dots,c_n)$. 我們想利用 $\sum$ (summation) 這個符號來處理內積, 讓大家習慣這個便利的符號.

(1) 依定義

$$\mathbf{u}\cdot\mathbf{v}=\sum_{i=1}^na_ib_i$$

這表示 $\mathbf{u}\cdot\mathbf{v}$ 是這些 $a_ib_i$ 的和其中 $i$ 是跑遍 $1$ 到 $n$ 的所有正整數. 由於這 $n$ 項的每一項 $a_ib_i$ 皆等於 $b_ia_i$ (實數乘法交換率) 所以我們知道它們的和也相等, 也就是說

$$\sum_{i=1}^na_ib_i=\sum_{i=1}^nb_ia_i=\mathbf{v}\cdot\mathbf{u}.$$

所以我們得 $\mathbf{u}\cdot\mathbf{v}=\mathbf{v}\cdot\mathbf{u}$.

(2) 依定義

$$\mathbf{u}\cdot\mathbf{u}=\sum_{i=1}^na_ia_i=\sum_{i=1}^na_i^2.$$

由於任一實數的平方皆大於等於 0, 即 $a_i^2\ge 0$, 故有 $\sum_{i=1}^na_i^2\ge 0$, 而得證 $\mathbf{u}\cdot\mathbf{u}\ge 0$. 又上式中若 $\sum_{i=1}^na_i^2= 0$, 表示每一項 $a_i^2$ 皆需等於 0, 故知對任意 $1\le i\le n$ 皆需有 $a_i=0$, 而得知

$$\mathbf{u}=(a_1,\dots,a_n)=(0,\dots,0)=\mathbf{0}.$$

反之若 $\mathbf{u}=\mathbf{0}$ 表示對任意 $1\le i\le n$ 皆有 $a_i=0$, 故得

$$\mathbf{u}\cdot\mathbf{u}=\sum_{i=1}^na_ia_i=0.$$

(3) $(r\mathbf{u})\cdot\mathbf{v}$ 這個符號表示 $r\mathbf{u}$ 這個向量與 $\mathbf{v}$ 的內積, 因 $r\mathbf{u}=(ra_1,\dots,ra_n)$ 故由定義知

$$(r\mathbf{u})\cdot\mathbf{v}=\sum_{i=1}^n(ra_i)b_i.$$

又對所有的 $1\le i\le n$ 皆有 $(ra_i)b_i=r(a_ib_i)$ (實數乘法結合律) 故知

$$\sum_{i=1}^n(ra_i)b_i=\sum_{i=1}^nr(a_ib_i)$$

再加上 $\sum_{i=1}^nr(a_ib_i)$ 中每一項皆有 $r$ 可提出, 故由實數加法與乘法的分配律可知

$$\sum_{i=1}^nr(a_ib_i)=r\sum_{i=1}^na_ib_i=r(\mathbf{u}\cdot\mathbf{v})$$

而得證 $(r\mathbf{u})\cdot\mathbf{v}=r(\mathbf{u}\cdot\mathbf{v})$. 我們也可用同樣方法證得 $\mathbf{u}\cdot(r\mathbf{v})=r(\mathbf{u}\cdot\mathbf{v})$, 不過我們這裡可利用 (1) 知 $\mathbf{u}\cdot(r\mathbf{v})=(r\mathbf{v})\cdot\mathbf{u}$ 再利用剛才的結果得 $(r\mathbf{v})\cdot\mathbf{u}=r(\mathbf{v}\cdot\mathbf{u})$, 再利用一次 (1) 得到 $r(\mathbf{v}\cdot\mathbf{u})=r(\mathbf{u}\cdot\mathbf{v})$ 而得證 $\mathbf{u}\cdot(r\mathbf{v})=r(\mathbf{u}\cdot\mathbf{v}).$

(4) $\mathbf{u}\cdot(\mathbf{v}+\mathbf{w})$ 這個符號表示 $\mathbf{u}$ 這個向量與 $\mathbf{v}+\mathbf{w}$ 的內積, 因

$$\mathbf{v}+\mathbf{w}=(b_1+c_1,\dots,b_n+c_n)$$

故由定義知

$$\mathbf{u}\cdot(\mathbf{v}+\mathbf{w})=\sum_{i=1}^na_i(b_i+c_i).$$

由實數加法與乘法的分配律知每一項 $a_i(b_i+c_i)$ 可表為 $a_ib_i+a_ic_i$, 也就是說

$$\sum_{i=1}^na_i(b_i+c_i)=\sum_{i=1}^n(a_ib_i+a_ic_i)$$

因為實數加法有交換率, 我們可以先將 $a_ib_i$ 的部份先加在一起, 再將 $a_ic_i$ 的部份加在一起, 再求它們之和, 故知

$$\sum_{i=1}^n(a_ib_i+a_ic_i)=\sum_{i=1}^na_ib_i+\sum_{i=1}^na_ic_i=\mathbf{u}\cdot\mathbf{v}+\mathbf{u}\cdot\mathbf{w},$$

依此得證 $\mathbf{u}\cdot(\mathbf{v}+\mathbf{w})=\mathbf{u}\cdot\mathbf{v}+\mathbf{u}\cdot\mathbf{w}$. $\qedsymbol$

Proposition 1.4.2 (2) 告訴我們除了零向量 $\mathbf{0}$ 以外其餘向量 $\mathbf{v}$ 皆需符合 $\mathbf{v}\cdot\mathbf{v}>0$, 所以很自然地我們可依此定義向量的長度.

Definition 1.4.3   令 $\mathbf{v}=(a_1,\dots,a_n)\in\mathbb{R}^n$, 我們定義 $\mathbf{v}$ 的長度 (length) 為

$$\Vert\mathbf{v}\Vert=\sqrt{\mathbf{v}\cdot\mathbf{v}}=\sqrt{a_1^2+a_2^2+\cdots+a_n^2}.$$

我們可以利用 Proposition 1.4.2 的處理一些有關於內積的性質, 而不必涉及內積的定義.

Lemma 1.4.4   假設 $\mathbf{u},\mathbf{v}\in\mathbb{R}^n$, 則 $\Vert\mathbf{u}+\mathbf{v}\Vert^2=\Vert\mathbf{u}\Vert^2+2\mathbf{u}\cdot\mathbf{v}+\Vert\mathbf{v}\Vert^2.$

証 明. 依定義 $\Vert\mathbf{u}+\mathbf{v}\Vert^2=(\mathbf{u}+\mathbf{v})\cdot(\mathbf{u}+\mathbf{v})$, 再依 Proposition 1.4.2 (4) 可得

$$(\mathbf{u}+\mathbf{v})\cdot(\mathbf{u}+\mathbf{v})=(\mathbf{u}+\... ...+\mathbf{v}\cdot\mathbf{u}+\mathbf{u}\cdot\mathbf{v}+\mathbf{v}\cdot\mathbf{v}.$$

最後再依 Proposition 1.4.2 (1) 的交換律知 $\mathbf{v}\cdot\mathbf{u}+\mathbf{u}\cdot\mathbf{v}=2\mathbf{u}\cdot\mathbf{v}$ 而得證本定理. $\qedsymbol$

再次強調一次 Lemma 1.4.4 僅用到內積的性質, 所以在一般的情形若我們不是利用 Definition 1.4.1 的方法定義內積 (當然此時長度的定義也跟著改變) 但所定義的內積仍保有 Proposition 1.4.2 中的性質, 我們依然可得到 Lemma 1.4.4 中的性質. Lemma 1.4.4 最常見的就是可以幫助我們推得所謂的「柯希、舒瓦茲」不等式.

Proposition 1.4.5 (Cauchy-Schwarz inequality)   若 $\mathbf{u},\mathbf{v}\in\mathbb{R}^n$, 則 $\left\vert\mathbf{u}\cdot\mathbf{v}\right\vert \le\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert.$ 特別地當 $\mathbf{u},\mathbf{v}$ 皆不為零向量時, 等號成立若且唯若存在 $\lambda\in\mathbb{R}$ 使得 $\mathbf{v}=\lambda\mathbf{u}$.

証 明. 假設 $\mathbf{u}$ 和 $\mathbf{v}$ 中有一個為零向量, 即 $\mathbf{u}\cdot\mathbf{v}=0$ 且 $\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert=0$, 故此不等式成立.

若 $\mathbf{u},\mathbf{v}$ 皆不為零向量, 考慮 $\mathbf{u}_0=\mathbf{u}/\Vert\mathbf{u}\Vert$ 且 $\mathbf{v}_0=\mathbf{v}/\Vert\mathbf{v}\Vert$. 此時

$$\Vert\mathbf{u}_0\Vert^2=\mathbf{u}_0\cdot\mathbf{u}_0={\frac{1}{... ...Vert}\mathbf{u}}={\frac{1}{\Vert\mathbf{u}\Vert^2}\mathbf{u}\cdot\mathbf{u}}=1.$$

同理得 $\Vert\mathbf{v}_0\Vert^2=1$, 故由 Lemma 1.4.4 得知

$$\Vert\mathbf{u}_0+\mathbf{v}_0\Vert^2=2+2\mathbf{u}_0\cdot\mathbf{v}_0,$$ (1.6)

$$\Vert\mathbf{u}_0-\mathbf{v}_0\Vert^2=2-2\mathbf{u}_0\cdot\mathbf{v}_0.$$

因為對任意的 $\mathbf{w}\in\mathbb{R}^n$ 皆有 $\Vert\mathbf{w}\Vert^2\ge 0$, 故得 $-1\le \mathbf{u}_0\cdot\mathbf{v}_0\le 1.$ 換回 $\mathbf{u},\mathbf{v}$ 得

$$-\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert\le\mathbf{u}\cdot\mathbf{v}\le \Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert.$$

亦即 $\left\vert\mathbf{u}\cdot\mathbf{v}\right\vert \le\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert.$

從上可知當 $\mathbf{u},\mathbf{v}$ 皆不為零向量時, 此不等式之等式會成立等同於 $\mathbf{u}_0\cdot\mathbf{v}_0=1$ 或 $\mathbf{u}_0\cdot\mathbf{v}_0=-1$. 此時由式子 (1.6) 分別得 $\Vert\mathbf{u}_0-\mathbf{v}_0\Vert^2=0$ 或 $\Vert\mathbf{u}_0+\mathbf{v}_0\Vert^2=0$, 也就是說 $\mathbf{u}_0=\mathbf{v}_0$ 或 $\mathbf{u}_0=-\mathbf{v}_0$. 換回 $\mathbf{u},\mathbf{v}$ 我們得 $\mathbf{u}_0=\mathbf{v}_0$ 或 $\mathbf{u}_0=-\mathbf{v}_0$. 這分別表示

$$\mathbf{v}=\frac{\Vert\mathbf{v}\Vert}{\Vert\mathbf{u}\Vert}\mathbf{u}$$ 或 $$\mathbf{v}=-\frac{\Vert\mathbf{v}\Vert}{\Vert\mathbf{u}\Vert}\mathbf{u}.$$

故此時只要令 $\lambda$ 分別為 $\Vert\mathbf{v}\Vert/\Vert\mathbf{u}\Vert$ 或 $-\Vert\mathbf{v}\Vert/\Vert\mathbf{u}\Vert$, 即可得 $\mathbf{v}=\lambda\mathbf{u}$.

反之若 $\mathbf{v}=\lambda\mathbf{u}$, 則由 Proposition 1.4.2 可得

$$\left\vert\mathbf{u}\cdot\mathbf{v}\right\vert =\left\vert\lambda... ...}\Vert\,\Vert\lambda\mathbf{u}\Vert=\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert.$$

$\qedsymbol$

利用內積我們可以知道坐標平面或空間中向量之間的一些幾何關係. 例如若兩非零向量 $\mathbf{u},\mathbf{v}$ 的夾角為 $\theta$, 因為 $\mathbf{u}\cdot\mathbf{v}=\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert\cos\theta$, 所以我們可以利用內積得知此二非零向量所夾角度. 特別地當 $\mathbf{u}\cdot\mathbf{v}=0$ 即表示 $\mathbf{u}$ 和 $\mathbf{v}$ 垂直. 我們也可將此幾何意義推廣到更一般的 $\mathbb{R}^n$. 雖然當 $n\ge 4$ 時, 我們無法``看到'' $\mathbb{R}^n$ 中的向量 (無法用幾何的方式來定義夾角), 此時我們可以沿襲 $\mathbb{R}^2,\mathbb{R}^3$ 上的結果定義兩非零向量 $\mathbf{u},\mathbf{v}\in\mathbb{R}^n$ 的夾角為 $\theta$, 其中 $0\le\theta\le\pi$ 使得

$$\cos\theta=\frac{\mathbf{u}\cdot\mathbf{v}}{\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert}.$$

當我們定義一個東西時要注意這個定義是否 ``well-defined''. 也就是說要確認這樣定義出來的夾角 $\theta$ 是否可以找得到, 這是所謂「存在性」的問題. 我們都知道當 $0\le\theta\le\pi$ 時, $\left\vert\cos\theta\right\vert \le 1$. 所以這裡夾角 $\theta$ 的存在性就關係到 $\mathbb{R}^n$ 中兩個非零向量 $\mathbf{u},\mathbf{v}$ 是否會滿足

$$\left\vert\frac{\mathbf{u}\cdot\mathbf{v}}{\Vert\mathbf{u}\Vert\,\Vert\mathbf{v}\Vert}\right\vert \le1.$$

然而 Proposition 1.4.5 告訴我們這是一定對的, 所以這裡 $\theta$ 的存在性沒問題. 另一個要確認的問題是, 這樣定出來的夾角會不會有兩個或更多呢? 這是所謂「唯一性」的問題. 就是因為會有 $\theta'\ne\theta$ 但 $\cos\theta=\cos\theta'$ 的情形發生, 所以這裡我們要求 $\theta$ 要滿足 $0\le\theta\le\pi$, 如此才能確保所得的夾角會是唯一的. 也就是說用這種方法定義兩非零向量的夾角是沒有問題的, 我們就稱這樣的定義是 well-defined. 利用夾角的定義 我們進而定義出何謂「垂直」.

Definition 1.4.6   令 $\mathbf{u},\mathbf{v}\in\mathbb{R}^n$ 為非零向量, 我們說 $\mathbf{u}$ 和 $\mathbf{v}$ 為 orthogonal 若且唯若 $\mathbf{u}\cdot\mathbf{v}=0$.

注意這裡因在 $\mathbb{R}^n$ 空間, 習慣上垂直我們稱為 orthogonal 而不用大家一般幾何上常用的 perpendicular. 有了垂直概念後, 我們也可以將 $\mathbb{R}^2$ 或 $\mathbb{R}^3$ 上的向量在另一向量上的投影 (projection) 之概念推廣至 $\mathbb{R}^n$.

我們先看 $\mathbb{R}^2$ 的情況, 給定一非零向量 $\mathbf{u}\in\mathbb{R}^2$, 對任意 $\mathbf{v}\in\mathbb{R}^2$, 若 $\mathbf{u'}$ 為 $\mathbf{v}$ 在 $\mathbf{u}$ 上的投影, 表示向量 $\mathbf{v}-\mathbf{u'}$ (參考下圖虛線表示的向量) 會和 $\mathbf{u}$ 垂直, 即 $(\mathbf{v}-\mathbf{u'})\cdot\mathbf{u}=0$, 也就是說 $\mathbf{v}\cdot\mathbf{u}=\mathbf{u'}\cdot\mathbf{u}$.

因為 $\mathbf{u'}$ 和 $\mathbf{u}$ 平行, 我們可找到 $r\in\mathbb{R}$ 使得 $\mathbf{u'}=r\mathbf{u}$, 代入前面式子得 $\mathbf{v}\cdot\mathbf{u}=r\mathbf{u}\cdot\mathbf{u}=r\Vert\mathbf{u}\Vert^2.$ 也就是說, 若令 $r=(\mathbf{v}\cdot\mathbf{u})/\Vert\mathbf{u}\Vert^2$ (注意前面 $\mathbf{u}$ 為非零向量的假設), 則 $r\mathbf{u}$ 就是 $\mathbf{v}$ 在 $\mathbf{u}$ 的投影. 我們可以將以上的概念推廣到 $\mathbb{R}^n$ 的情形.

Proposition 1.4.7   給定一非零向量 $\mathbf{u}\in\mathbb{R}^n$, 對任意 $\mathbf{v}\in\mathbb{R}^n$, 皆可寫成 $\mathbf{v}=\mathbf{u'}+\mathbf{v'}$, 其中 $\mathbf{u'},\mathbf{v'}\in\mathbb{R}^n$ 滿足 $\mathbf{v'}\cdot\mathbf{u}=0$ 且 $\mathbf{u'}=r\mathbf{u}$, $r\in\mathbb{R}$. 事實上這樣的寫法是唯一的, 即

$$r=\frac{\mathbf{v}\cdot\mathbf{u}}{\Vert\mathbf{u}\Vert^2}.$$

証 明. 前面的論述在 $\mathbb{R}^n$ 亦成立, 亦即 $r=(\mathbf{v}\cdot\mathbf{u})/\Vert\mathbf{u}\Vert^2$ 是唯一的實數會使得 $(\mathbf{v}-r\mathbf{u})\cdot\mathbf{u}=0$. 換言之,

$$\mathbf{u'}=\frac{\mathbf{v}\cdot\mathbf{u}}{\Vert\mathbf{u}\Vert^2}\mathbf{u}.$$

是唯一的向量會滿足 $\mathbf{u'}=r\mathbf{u}$ 且 $(\mathbf{v}-\mathbf{u'})\cdot\mathbf{u}=0$. 既然 $\mathbf{u'}$ 是唯一的, 故而 $\mathbf{v'}$ 要滿足 $\mathbf{v'}+\mathbf{u'}=\mathbf{v}$, 即 $\mathbf{v'}=\mathbf{v}-\mathbf{u'}$, 自然也就唯一確定了. $\qedsymbol$

Proposition 1.4.7, 大致上是說給定一 $\mathbb{R}^n$ 中的非零向量 $\mathbf{u}$ 後, 我們都可以將 $\mathbb{R}^n$ 中任一向量 $\mathbf{v}$ 分解成兩個向量之和, 其中一個向量與 $\mathbf{u}$ 平行 (即定理中的 $\mathbf{u'}$) 而另一個與 $\mathbf{u}$ 垂直 (即定理中的 $\mathbf{v'}$), 且這個表法是唯一的. 我們稱與 $\mathbf{u}$ 平行的那個向量

$$\frac{\mathbf{v}\cdot\mathbf{u}}{\Vert\mathbf{u}\Vert^2}\mathbf{u}$$

為 $\mathbf{v}$ 在 $\mathbf{u}$ 的 projection (投影).