本征值 - 本征向量 - 内积空间

《Linear Algebra Done Right》第5-7章

本征值即特征值

本征值和本征向量

eigenvalue，一半德文一半英文

不变子空间

算子：一种映射，作用范围在同一向量空间，即从自身空间 映射到自身空间，如向量空间V上算子的集合记作L(V)，等价于L(V,V)

对于V的子空间U，对于线性映射T，对于其任意向量组u

$$Tu\in U,u\in U$$

则称U是V在T上的不变子空间

• V自身是不变子空间
• {0}是不变子空间
• nullT是不变子空间：零空间是被T映射为0的向量组的集合

一维不变子空间的证法：

要证明一个一维（注意是一维）子空间U为线性变换T的不变子空间，可以通过证明在U上，总有u∈U，存在标量λ，使得下式成立

$$Tu=\lambda u$$

上式也等价于

$$(T-\lambda I)u=0$$

• 其中I为标准基

这个向量u便是线性映射T的特征向量

这个λ就是线性映射T的特征值

• 要注意这里的u必须是非零向量，不然λ不管怎么取等式总会成立

定理：不同特征值所对应的特征向量是线性无关的

推论：向量空间V上的每个算子（线性映射）最多有dimV个特征值

多项式对算子的作用

对于算子T∈L(V)

定义T上的幂运算

$$T^m=\underbrace{T……T}_{m个}$$

进一步有

$$T^nT^m =T^{n+m},(T^m)^n=T^{mn}$$

当T可逆时，其中m,n可以为任意整数，不可逆时是非负整数

设有多项式p∈P(F)，有

$$p(z)=a_0+a_1z+a_2z^2+...+a_nz^n,z\in F$$

则对于算子T，p(T)为如下定义的算子

$$p(T)=a_0I+a_1T+a_2T^2+...+a_nT^n$$

例如：p(z)=z^2，则p(T)=T^2，这是多项式的新用法，即作用于算子上而不是定义域内的元素

若p,q都是多项式，且系数都在F中，则pq是一个新的多项式，满足

$$pq(z)=p(z)q(z),z\in F$$

同理有

$$pq(T)=p(T)q(T)$$

并且这里等式左右的组合是可以交换的，即：pq(T)=qp(T),p(T)q(T)=q(T)p(T)

上三角矩阵

复向量空间上算子的中心结果之一

算子关于基的矩阵于线性映射关于基的矩阵定义保持一致

$$M(T,(v_1,...,v_n))=T(v_1,...,v_n)= \begin{bmatrix} a_{11}&...&a_{1n}\\ .&&.\\ .&&.\\ a_{n1}&...&a_{nn} \end{bmatrix}$$

其中每个vi是一个长度为n的向量，T变换本身是一个nxn的矩阵

线代的一个中心目标就是要证明：给定一个算子T∈L(V)，在V中有一个基使得T关于此基有相对简单的矩阵

• 相对简单指希望矩阵中0的个数越多越好

对角线：从矩阵左上到矩阵右下

上三角矩阵：矩阵对角线下方元素全为0的矩阵

定理：对于任意算子T∈L(V)，总有基使得T的矩阵为一个上三角矩阵

命题：当T的上三角矩阵对角线元素都不是0时，这个算子T自身是可逆的，这是一个充要条件

命题：T关于某个基的矩阵若为上三角矩阵，则这个上三角矩阵对角线上的元素恰好是T的所有特征值

回忆一下：特征值指Tu=λu中λ的取值，这个等式等价于(T-λI)u=0，自然u不为0阵

对角矩阵

对角矩阵指除对角线之外其他位置均为0的矩阵

• 对角矩阵一定是上三角矩阵，反之不成立

对角矩阵用diag表示，如diag(1,1,1,8)为

$$\begin{bmatrix} 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0\\ 0&0&0&8 \end{bmatrix}$$

不是所有算子都有对应的对角矩阵，相对于上三角矩阵更加稀少

命题：只有当算子互不相同的特征值数量等于向量空间的维数时，这个算子才有其对应的对角矩阵，且对角线上各元素对应算子的各个特征值

实向量空间的不变子空间

在复向量空间中，每个算子都有其特征值，即复向量空间总有一维子空间，但对于实向量空间，这一结论并不成立

定理：在实向量空间中，算子可能不存在特征值，但实向量空间总有1维或2维不变子空间

定理：在奇数维的实向量空间中，每个算子都有特征值，即奇数维的实向量空间总有一维不变子空间

内积空间

内积

范数：向量的长度，如向量x=(1,2,3)的长度（范数）为

$$||x||=\sqrt{1^2+2^2+3^2}=\sqrt{13}$$

向量的点积：各分量乘积之和，如x=(1,2,3),y=(4,5,6)，其点积为

$$xy=1×4+2×5+3×6=32$$

显然点积满足交换律：即xy=yx

• 范数和点积都是一个数，而不是向量
• 点积是高维向量空间到一维向量空间的一种映射

容易得到：

$$xx=||x||^2$$

内积是点积在复向量空间的推广，对于一个复向量空间向量z（其分量均为复数a+bi的形式），有

$$||z||=\sqrt{z_1\overline{z_1}+...+\sqrt{z_n\overline{z_n}}}\\ wz=w_1\overline{z_1}+...+w_n\overline{z_n}\\ zw=z_1\overline{w_1}+...+z_n\overline{w_n}$$

V上的内积就是一个函数，它把V中元素的每个有序对(u,v)都映成一个数<u,v>（用尖括号表示内积结果）

$$<(w_1,...,w_n),(z_1,...,z_n)>=w_1\overline{z_1}+...+w_n\overline{z_n}$$

上式也被称为Fn上的欧几里得内积

内积空间：带有内积的向量空间V

范数

对于向量v，其范数记为||v||，定义为

$$||v||=\sqrt{\langle v,v\rangle }$$

• 实际上也就等于各分量平方值和开根

正交：对于两个向量v,w，若二者的内积<v,w>=0，则称这两个向量正交

勾股定理（毕达哥拉斯定理）：若u,v是V中的正交向量，则

$$||u+v||^2=||u||^2+||v||^2$$

柯西不等式：若u,v在向量空间V中，则

$$|\langle u,v\rangle |\leq ||u||*||v||$$

• 两向量内积的绝对值小于等于两向量范数之积
• 当二者线性相关时等号成立

三角不等式：若u,v在向量空间V中，则

$$||u+v||\leq ||u||+||v||$$

• 两向量和的范数小于等于两向量范数的和

平行四边形等式：若u,v在向量空间V中，则

$$||u+v||^2+||u-v||^2=2(||u||^2+||v||^2)$$

• 完全平方公式

规范正交基

如果一个向量组中的向量两两正交，并且每个向量的范数都为1，则称这个向量组是规范正交的

如向量组((1,0,0),(0,1,0),(0,0,1))就是一个规范正交的向量组

• 向量空间的标准基都是规范正交的

对于规范正交向量组(e1,e2,...,em)，有

$$||a_1e_1+...+a_me_m||^2=|a_1|^2+...+|a_m|^2$$

容易证明：每个规范正交向量组都是线性无关的

规范正交基：向量空间V中一个由规范正交向量组构成的基，如标准基

正常来说，用基去表示向量

$$v=a_1e_1+...+a_ne_n$$

需要找到每个分量上的标量，即(a1,...,an)，这很困难，但对于规范正交基，这很简单，规范正交基的重要性也源于此（下述定理）

对于V中的规范正交基，对于每个V中向量组v，都有

$$v=\langle v,e_1\rangle e_1+...+\langle v,e_n\rangle e_n$$

并且

$$||v||^2=|\langle v,e_1\rangle|^2+...+|\langle v,e_n\rangle|^2$$

如何找到规范正交基？

格拉姆-施密特过程：

设(a1,a2,...,an)是向量空间V的一个基，(b1,...,bn)是用于转换的中间向量

$$b_1=a_1,\quad e_1=\frac{b_1}{||b_1||}\\ b_2=a_2-\langle a_2,e_1\rangle e_1,\quad e2=\frac{b_2}{||b_2||}\\ b_3=a_3-\langle a_3,e_2\rangle e_2-\langle a_3,e_1\rangle e_1,\quad e_3=\frac{b_3}{||b_3||}\\ ...\\ b_n=a_n-\langle a_n,e_{n-1}\rangle e_{n-1}-...-\langle a_n,e_1\rangle e_1,\quad e_n=\frac{b_n}{||b_n||}$$

(e1,e2,...,en)便是由(a1,a2,...,an)所得到的一个两两正交的单位向量，并且是V的基，即为V的规范正交基

正交投影与极小化问题

正交补：U是V的子空间，U的正交补

$$U^{\perp}=\lbrace v\in V:\langle v,u\rangle =0,u\in U\rbrace$$

就是和自身空间中所有向量垂直的向量组成的集合（空间）

可证得：

$$V=U\oplus U^{\perp}\\\\ U=(U^{\perp})^{\perp}\\\\ U\bigcap U^{\perp}=\lbrace 0\rbrace\\\\ {\lbrace 0\rbrace}^{\perp}=V\\\\$$

正交投影：因为$V=U\oplus U^{\perp}$，所以理论上对于任意$v\in V$，都可以表示为

$$v=u+w,\quad u\in U,w\in U^{\perp}$$

利用这种分解方式来定义V上的算子P(U)，称为V到U上的正交投影（算子：变换规则）

在上一节中提到，若所使用的分解基为规范正交基，那么这个正交分解可以写为

$$v=\langle v,e_1\rangle e_1+...+\langle v,e_m\rangle e_m$$

极小化问题先略

线性泛函与伴随

这里的伴随和伴随矩阵是不相干的两个概念

线性泛函：就是一个函数（映射），如

$$\varphi (z_1,z_2,z_3)=2z_1-5z_2+z_3\\ \varphi (z_1,z_2,z_3)=(2z_1-5z_2,z_3)$$

分别对应标准基的矩阵为

$$\begin{bmatrix} 2&-5&1 \end{bmatrix}\quad \begin{bmatrix} 2&0\\ -5&0\\ 0&1 \end{bmatrix}$$

第一个函数是F3上的一个线性泛函，从三维映射到一维；第二个函数是由三维映射到二维的函数

定义线性泛函T的伴随T*为

$$\langle T(v),w\rangle=\langle v,T^*(w)\rangle$$

举个栗子：T是从三维映射到二维的线性泛函

$$T(x_1,x_2,x_3)=(x_2+3x_3,2x_1)$$

设

$$v=(x_1,x_2,x_3),w=(y_1,y_2)$$

则

$$\begin{align} \langle (x_1,x_2,x_3),T^*(y_1,y_2)\rangle &=\langle T(x_1,x_2,x_3),(y_1,y_2)\rangle\\\\ &=\langle (x_2+3x_3,2x_1),(y_1,y_2)\rangle\\\\ &=2x_1y_2+x_2y_1+3x_3y_1\\\\ &=\langle (x_1,x_2,x_3),(2y_2,y_1,3y_1) \end{align}$$

故有

$$T^*(y_1,y_2)=(2y_2,y_1,3y_1)$$

• 注意，若原泛函为n维映射到m维，则它的伴随是由m维映射到n维

矩阵的共轭转置：对行与列互换，并对每个元素取复共轭

如何求泛函的伴随？

先复习一下线性映射的矩阵：线性变换T本身就是一个nxn矩阵，将其视为常数，右乘以一组基A，得到新的一组基B，这个基B的矩阵就称为线性变换T在基A下的矩阵

我们把矩阵的第k列视为对第k个基向量的作用，如

$$T(x,y) =(x+3y, 2x+5y, 7x+9y)$$

那么T(1,0)=(1,2,7), T(0,1)=(3,5,9)，那么T关于标准基的矩阵即为

$$\begin{bmatrix} 1&3\\ 2&5\\ 7&9 \end{bmatrix}$$

定理：在处理规范正交基时，即作用于的基u,w均为规范正交基，u对应泛函T的矩阵的共轭转置为其伴随T*关于基w的矩阵

• 一般来说使用标准基处理
• 另外需要注意的是，伴随和基的选取其实是无关的，即无论基如何选取，伴随还是那个伴随，只不过当基为规范正交时，映射和伴随的矩阵恰为共轭转置

内积空间上的算子

算子：线性映射、函数、线性泛函

自伴算子与正规算子

算子的矩阵：f(z1,z2,z3) = ((2z1-5z2),(z2+z3),(-z1-z3))关于标准基((1,0,0),(0,1,0),(0,0,1))的矩阵为

$$\begin{bmatrix} 2&-5&0\\ 0&1&3\\ -1&0&-1 \end{bmatrix}$$

我们把矩阵的第k列视为对第k个基向量的作用

自伴算子：即算子自身矩阵和其伴随的矩阵相同的算子

如T关于标准基（标准正交基）的矩阵为

$$\begin{bmatrix} 2&b\\ 3&7 \end{bmatrix}$$

因为是作用于标准正交基，映射的矩阵的共轭转置即为其伴随关于这个基的矩阵，即

$$\begin{bmatrix} 2&3\\ b&7 \end{bmatrix}$$

若T是自伴的，当且仅当b=3，此时上述两个矩阵完全相同，T=T*

---

谱定理

实内积空间上的正规算子

正算子

等距同构

极分解与奇异值分解