第 10 章：特征值与特征向量

---

本章将介绍方阵的特征值与特征向量。这些概念用途广泛，例如帮助理解并直观呈现线性映射、分析机械结构的稳定性、求解微分方程组、识别图像、解释并可视化二次方程，以及进行图像分割。先从两个例子开始。

---

先从特征值和特征向量的定义开始。

在第 9 章中，我们看到线性映射可以表示为矩阵乘法。对于线性映射，也以对应方式定义特征向量和特征值：对线性映射 $F$，若非零向量 $\vc{v}$ 满足 $F(\vc{v})$ 与 $\vc{v}$ 平行，即 $F(\vc{v}) = \lambda \vc{v}$，则称 $\vc{v}$ 为特征向量，$\lambda$ 为对应的特征值。

在交互式图解 10.3中，你可能已经注意到，改变向量 $\vc{v}$ 的长度，并不会改变它是不是特征向量。这是由映射的线性性质决定的，下面的定理给出说明。

---

因此，特征向量总可以重新缩放，但别忘了特征向量必须非零。

---

本节说明如何计算特征向量和特征值。（注意：这里的方法以求多项式的根为基础。实际应用中，通常有更高效的数值方法来求特征值和特征向量。届时往往反过来利用特征值与多项式根之间的联系，通过计算特征值求多项式的根。）

---

---

特征向量和特征值与对角化的概念密切相关。 其核心思想是：若选择特征向量作为基向量，线性映射的表示会格外简单。我们需要分别定义线性映射与矩阵的对角化；这两个定义本质上相同。

先回忆一下，即使没有选定基，线性映射 $F(\vc{v})$ 仍然可以定义。例如，“把输入向量长度加倍”这一线性映射，与选择哪一组基无关。若为线性映射选定一组基，就可以把它写成 $F(\vc{v}) = \mx{A}\vc{v}$ 的形式，其中 $\mx{A}$ 称为变换矩阵。变换矩阵取决于所选的基。在此基础上，便可以定义线性映射的可对角化性。

这里把矩阵 $\mx{A}$ 分解为三个矩阵 $\mx{V}$、$\mx{D}$ 和 $\mx{V}^{-1}$ 的乘积。这类分解在许多应用中非常有用，本章稍后会给出几个例子。

为理解对角化与特征向量、特征值的关系，把矩阵方程重新整理为

\begin{equation} \mx{A} \mx{V}= \mx{V} \mx{D} . \end{equation}

(10.19)

设 $\mx{V}$ 的各列向量为 $(\vc{v}_1, \ldots, \vc{v}_n)$，$\mx{D}$ 的对角元素为 $(\lambda_1, \ldots, \lambda_n)$。 用这些记号，方程可写成

\begin{equation} \mx{A} \begin{pmatrix} \vc{v}_1 & \ldots & \vc{v}_n \end{pmatrix} = \begin{pmatrix} \vc{v}_1 & \ldots & \vc{v}_n \end{pmatrix} \mx{D} \end{equation}

(10.20)

或者

\begin{equation} \begin{pmatrix} \mx{A} \vc{v}_1 & \ldots & \mx{A} \vc{v}_n \end{pmatrix} = \begin{pmatrix} \lambda_1 \vc{v}_1 & \ldots & \lambda_n \vc{v}_n \end{pmatrix}. \end{equation}

(10.21)

换言之，矩阵方程的第 $k$ 列为

\begin{equation} \mx{A} \vc{v}_k = \lambda_k \vc{v}_k, \end{equation}

(10.22)

因此，$\mx{V}$ 的各列是 $\mx{A}$ 的特征向量，对应的特征值就是 $\mx{D}$ 相应位置的对角元素。 下面的定理概括了这一结论。

对 $2 \times 2$ 矩阵，特征多项式是二次多项式，因此有两个根（计入复根并按重数计数）。在例 10.5中，两个根（$1$ 和 $3/2$）彼此不同，并且存在由特征向量构成的一组基。下面的定理说明，一般的 $n \times n$ 矩阵也有类似结论。

---

因此，若所有根互不相同，矩阵必可对角化。若有重数大于 $1$ 的根，矩阵可能可对角化（例 10.7），也可能不可对角化（例 10.8）。

在例 10.6中，所有根都是单根，因此各特征值互不相同。根据定理 10.4，这类矩阵总可对角化。若矩阵的特征多项式有二重根或更高重数的根，它可能像例 10.7那样可对角化，也可能像例 10.8那样不可对角化。关键在于：对每个特征值 $\lambda$，能从 $(\lambda I - \mx{A})$ 的零空间中选出多少个线性无关的特征向量。 为刻画这一点，需要引入代数重数和几何重数。

---

---

例 10.7和例 10.8都只有一个特征值，且代数重数均为 $2$。例 10.7 中的几何重数为 $2$，因此矩阵可对角化；例 10.8 中的几何重数只有 $1$，因此矩阵不可对角化。 对于随机矩阵，例如各元素分别从独立正态分布中抽取时，得到不可对角化矩阵的概率极小。事实上，若使用真正连续的正态分布，而不是计算机中的离散近似，这一概率为零。因此，从某种意义上说，不可对角化矩阵只是例外。不过，实际应用中的某些矩阵具有内在结构，仍会导致它们不可对角化。

---

此前主要处理实矩阵和实向量，但研究含复数元素的矩阵与向量也很有用。即使矩阵是实矩阵，有时也需要考虑复特征值和复特征向量。 无论 $\mx{A}$ 是实矩阵还是复矩阵，复特征值与复特征向量的定义都相同。

下面的定理概括了对称矩阵的一个重要性质。

---

注意，证明中只用到了 $\bar{\mx{A}}^\T = \mx{A}$。因此，即使 $\mx{A}$ 是复矩阵，只要满足这一条件，也能证明它的所有特征值均为实数。

---

---

---

例 10.4研究了固定输入向量长度时，输出向量 $F(\vc{v})$ 最长能有多长。下面利用定理 10.8和定理 10.7来深入理解这一问题。 给定实矩阵 $\mx{A}$ 及其对应的线性映射 $F(\vc{v}) = \mx{A} \vc{v}$，对于实向量 $\vc{v}$，哪个输入方向能使伸长倍数 $s = \frac{|| \mx{A} \vc{v}||}{||\vc{v}||}$ 最大或最小？ 研究伸长倍数的平方更方便，即

\begin{equation} s^2 =\left(\frac{|| \mx{A} \vc{v}||}{||\vc{v}||}\right)^2= \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}}, \end{equation}

(10.65)

这里假设 $\vc{v}$ 非零。注意，关键矩阵是 $\mx{A}^\T \mx{A}$。 该矩阵按构造就是对称矩阵。由定理 10.8可知，可以用标准正交矩阵 $\mx{U}$ 将其对角化：

\begin{equation} \mx{A}^\T \mx{A} = \mx{U} \mx{D} \mx{U}^\T . \end{equation}

(10.66)

其特征值均为实数。又因为 $ \vc{v}^T \mx{A}^\T \mx{A} \vc{v} = \left( || \mx{A} \vc{v}|| \right)^2 \geq 0$， 所以 $\mx{A}^\T \mx{A}$ 半正定。由定理 10.9可知，其特征值均非负。 不妨按 $d_1 \geq d_2 \geq \ldots \geq d_n \geq 0$ 排列这些特征值。于是

\begin{equation} s^2 = \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}} = \frac{\vc{v}^\T \mx{U} \mx{D} \mx{U}^\T \vc{v}}{\vc{v}^\T \mx{U} \mx{U}^\T \vc{v}} . \end{equation}

(10.67)

作坐标变换 $\vc{w} = \mx{U}^\T \vc{v}$，得到

\begin{equation} s^2 = \frac{\vc{w}^\T \mx{D} \vc{w}}{\vc{w}^\T \vc{w}}. \end{equation}

(10.68)

为了直观理解如何使这个量最大，先注意分子就是

\begin{equation} w_1^2 d_1 + w_2^2 d_2 + \ldots + w_n^2 d_n, \end{equation}

(10.69)

其中 $d_1,d_2,\dots,d_n$ 是 $\mx{D}$ 的对角元素，而分母为

\begin{equation} w_1^2 + w_2^2 + \ldots + w_n^2. \end{equation}

(10.70)

因此直观上看，要在尽可能压低分母的同时增大分子，就应把权重尽量集中在第一项，因为 $d_1$ 最大。例如可取 $w_1=1$，而对 $j\neq1$ 取 $w_j=0$。

下面给出严格证明。先把式 (10.68)改写为

\begin{equation} s^2 = \frac{\sum_{i=1}^n d_i w_i^2 }{\sum_{i=1}^n w_i^2}. \end{equation}

(10.71)

为确定最大值，计算偏导数以求出所有驻点：

\begin{equation} \frac{\partial (s^2)}{\partial w_i} = \frac{ (2 d_i w_i) (\sum_{i=1}^n w_i^2) - (\sum_{i=1}^n d_i w_i^2 )(2 w_i)}{(\sum_{i=1}^n w_i^2)^2} . \end{equation}

(10.72)

在驻点处，对所有 $i$ 都有 $\frac{\partial (s^2)}{\partial w_i} = 0$，因此

\begin{equation} \begin{pmatrix} d_1 w_1 & w_1 \\ d_2 w_2 & w_2 \\ \vdots & \vdots \\ d_n w_n & w_n \end{pmatrix} \begin{pmatrix} \sum_{i=1}^n w_i^2 \\ \sum_{i=1}^n d_i w_i^2 \end{pmatrix} = \vc{0}. \end{equation}

(10.73)

上式是“矩阵乘向量等于零”。当 $\vc{w}\neq\vc{0}$ 时，右侧向量必非零，因为其第一个分量是 $\vc{w}$ 的长度平方 $||\vc{w}||^2$。因此只能是左侧矩阵具有至少一维零空间，即零度至少为 $1$。由定理 8.8中的“秩加零度等于列数”，该矩阵的秩至多为 $1$。而定理 8.9指出，秩等于非零子式的最大阶数。因此，此处最大的非零子式至多为 $1\times1$，这又意味着每个 $2\times2$ 子式都为零，即

\begin{equation} \det \begin{pmatrix} d_i w_i & w_i \\ d_j w_j & w_j \end{pmatrix} =(d_i-d_j) w_i w_j = 0 \end{equation}

(10.74)

对所有 $i,j$ 都成立。一个解法是让 $\vc{w}$ 只有一个非零分量。 取 $\vc{w}_{\max} = \begin{pmatrix}1&0&\ldots&0\end{pmatrix}$ 时取得全局最大值，对应最大伸长倍数平方 $d_1$；取 $\vc{w}_{\min} = \begin{pmatrix}0&0&\ldots&1\end{pmatrix}$ 时取得全局最小值，对应最小伸长倍数平方 $d_n$。 由于 $\vc{w} = \mx{U}^\T \vc{v}$，故 $\vc{v} = \mx{U}\vc{w}$。因此，最大伸长倍数由 $\vc{v}_1$ 方向取得，也就是 $\mx{A}^\T\mx{A}$ 对应最大特征值的特征向量；最小伸长倍数由 $\vc{v}_n$ 方向取得，也就是对应最小特征值的特征向量。

---

本节给出关于特征值和特征向量的一些有用结论与性质。

---

---

因此，$\mx{A}$ 与 $\mx{A}^\T$ 的特征值相同，但特征向量可能不同。

---

---

---

本节将通过一系列例子，展示特征值与特征向量在实际问题中的用处。

借助特征向量，可以更深入地理解线性映射。

一架飞机从华沙飞往克拉科夫。飞过一处美丽地标时，飞行员通过广播请想看地标的乘客望向飞机右侧。许多乘客照做了，飞机随即坠毁。为什么？ 因为右半平面上的“极点”太多了。（这是把乘客与数学上的极点混为一谈的双关。）

---

最后再看一个例子，它说明这一主题还有广阔得多的内容值得学习。