Linear Algebra Done Right
《Linear Algebra Done Right》第 1-7 章
线代主要研究有限维向量空间上的线性映射
# 向量空间
# 复数
复数集合:C = {a+bi: a,b∈R}
- 其中
i^2 = -1
复数运算
加法:实部加实部,虚部加虚部
乘法:
(a+bi)*(c+di) = (ac-bd)+(ad+bc)i就是把
i视作实数进行乘法运算,将i^2替换为-1即可
运算性质:z,z1,z2∈C
- 交换性:乘法交换、加法交换
- 结合性:乘法结合、加法结合
- 单位元:有唯一的
0,1使得z+0=z1, z*1=1 - 加法逆:总存在唯一的
w∈C使得w+z=0,记为-z - 乘法逆:总存在唯一的
w∈C使得w*z=0,记为1/z - 分配性质:
z(z1+z2) = zz1+zz2
# 向量空间的定义和性质
二维向量空间:R² = {(x,y): x,y∈R},可视作平面
二维向量空间:R³ = {(x,y,z): x,y,z∈R},可视作空间
长度为n元组:(x1,x2,...,xn)
- 称
x1为第1个坐标,x2为第二个坐标,以此类推 - 组的长度是有限的非负整数,
(x1,x2...)不称为组,()为组 - 与集合的区别:集合
{4,4,4}等价于{4},而组不等价
定义F=R/C,正整数n,则有高维向量空间:F(n) = {(x1,x2,...,xn): xi∈F,i=1,...,n}
- 维数3以外,人脑不能产生几何模型,但仍能进行代数运算
- 我们不关注高维向量的物理意义,只是计算
- 什么是向量?即具体的值,如
(1,2,3,4)便是R(4)上的一个向量 - 与二维的箭头一样,所有向量平行移动后仍视其为同一向量(长度和方向没变)
- 什么是向量?即具体的值,如
运算:
- 定义
0=(0,...,0),为高维的零,任意向量加0为其本身,相乘得零向量 - 定义
1=(1,...,1),为高维的单位向量,任何向量与之相乘的等于自身 - 向量的标量乘法:
a∈F, a(x1,x2,...,xn) = (ax1,ax2,...,axn)
向量的运算同样满足:z,z1,z2∈F(n)
- 交换性:乘法交换、加法交换
- 结合性:乘法结合、加法结合
- 加法单位元:存在唯一的向量
0使得z+0=z - 加法逆:总存在唯一的
w∈C使得w+z=0,记为-z - 乘法单位元:存在唯一的向量
1使得z*1=z - 分配性质:
z(z1+z2) = z*z1+z*z2
在向量空间中:
- 加法单位元唯一:零向量唯一
- 每个向量
v有其唯一的加法逆-v - 任意向量与标量0相乘,得零向量
- 任意标量与零向量相乘,得零向量
- 标量-1乘以任意向量,得该向量的加法逆
# 子空间
子空间也是向量空间,如{(x1,x2,0)}是R³的子空间
- 子集不一定是子空间
当U是V的子集,如何证明U是V子空间?
- 具有加法单位元,
0∈U- 所以
{(x1,x2,1)}就不是R³的子空间 - 过原点的平面为子空间(包含
(0,...,0))
- 所以
- 对加法封闭,即子空间内任意向量相加,仍为子空间内向量
- 对标量乘法封闭,解释同上
# 和与直和
子空间的和:设U1,U2,..,Un都是向量空间V的子空间,则子空间的和为
- 易知子空间的和仍为子空间
当子空间相加等于整个向量空间,我们称这种和为子空间的直和
- 如
U1+U2 = {x,y,0}+{0,0,z} = {x,y,z},{x,y,0}+{0,0,z}便为直和 - 记作
R³ = U1⊕U2,这个符号⊕表示直和
设U1,...,Un都是V的子空间,则V=U1⊕...⊕Un当且仅当
V = U1+U2+...+Un- 若
u1+u2+...+un = 0,则每个ui均为0
# 有限维向量空间
线代关注的并不是任意的向量空间,而是有限维向量空间,这种空间有这样一些重要概念:张成、线性无关、基和维数
# 张成与线性无关
定义向量空间V中一组向量的线性组合:
- 其中
ai为常数 vi为向量在各维度的具体取值
向量(v1,v2,...,vm)所有线性组合的集合称为该向量张成(span)
- 即
ai的取值任意,任意的线性组合 - 空组
()的张成为{0} - 空集不是
V的子空间
张成可以作用于多个向量,如span((2,1,3),(1,0,1)) = a1(2,1,3)+a2(1,0,1)
- 我们也可以说向量
(7,2,9)可以由(2,1,3),(1,0,1)张成(a=2,b=1)
容易证明向量空间任一向量的张成都为V的子空间
若一个向量空间可以由它的一组向量张成,那么这个向量空间就是有限维的,因为:
((1,0,...,0), (0,1,...,0),..., (0,...,1))总能张成为Fn
线性无关:是向量之间的关系
向量空间的张成组:一组向量
如果一组向量(v1,v2,...,vn)
令其线性组合a1v1+...+...anvn = 0
若只有在
a1=a2=...=an=0上述等式成立,那么我们称向量(v1,...,vn)是线性无关的否则则是线性有关的
也可以这样理解,某一维度上的值可以由剩余值线性表示,即
这样的话,即使标量不全为零,也可以使线性组合和为0
上述的第二种理解方式等价与vi = span(剩余元素)
定理:线性无关组的长度小于等于张成组的长度
- 即线性无关组元素个数小于等于向量空间的维数
命题:有限维向量空间的子空间都是有限维的
# 基
基:一个向量组
若向量空间V中一个向量组
- 可以张成为V
- 线性无关
那么这个向量称为V的基
如
并且这是Fn的标准基
基的用处:可以唯一地线性表达向量空间内任一向量
- 注意向量空间的张成组不一定是基,因为他有可能是线性相关的
定理:向量空间中,每个张成组都可以化简为一个基
- 自然的,张成组必然可以张成向量空间
- 同时,去掉张成组中线性相关的向量,化为线性无关组
- 线性无关的张成组 = 基
推论:每个有限维向量空间都有基
- 有限维向量空间 —> 张成组 —> 基
定理:向量空间中每个线性无关组都可以扩充成一个基
- 这里的扩充是指人为地往向量组中添加向量
- 扩充时始终保证向量组的线性无关性
- 如何扩充?从V中任取一个张成组,遍历该组,加入线性无关组的张成中不含的向量即可
定理:对于向量空间V中任一子空间U,总存在另一子空间W,使得
上式等价与
这里向量组的加和并计算如下
# 维数
定理:有限维向量空间的任意两个基长度相同
于是我们定义向量空间V基的长度n为向量空间的维数,记作
命题:子空间的维数小于等于其父空间的维数,即若U是V的子空间,V有限维,则
- U的任意基都是V上的一个线性无关组,从而可以扩充成V的一个基,自然
dimU <= dimV
命题:若V有限维,则V中每个长度为dimV的张成组都是V的一个基
命题:若V有限维,则V中每个长度为dimV的线性无关组都是V的一个基
定理:若U1,U2同为V的子空间且V有限维,则
好吧,据我理解(太几把抽象了)
命题:若V有限维,U1,U2,...,Um是V的子空间,有V=U1+...+Um,且dimV=dimU1+...+dimUm,则
# 线性映射
就是线性变换:linear transformation
这一章一半来自科师的讲义,其讲义说的其实更像是算子
# 定义与运算
线性映射时满足以下性质的函数T: V —> W
对于u,v∈V
- 齐性:
T(kv) = k(Tv) - 加性:
T(u+v) = Tu + Tv
线性映射是一种变换规则,在形式上可被视作矩阵,作用于向量组
线性变换有以下性质:
- 线性映射经过线性映射后,仍为线性映射,这意味着
- 线性映射作用于线性变换后,仍为线性变换
- 线性映射相加后仍为线性变换
- 线性映射经过标量乘法后仍为线性变换
- 线性映射的运算满足“乘法”结合律、分解律,一般不满足交换律(矩阵的左乘和右乘区别很大)
线性映射的运算,设有线性变换A,B
加法:
(A+B)a = Aa + Ba数乘:标量乘法,瞎几把乱乘
乘法:可结合,但不可交换
(AB)a = A(Ba)行列相乘之和构成新元素
幂运算:矩阵自身相乘
逆运算:即矩阵求逆
若
AB=BA=E,则B为A的逆矩阵,A为可逆矩阵求逆方法:
- 定义求逆
- 初等变换法
- 伴随矩阵
- 恒等变形法
零:零变换,该函数将所有元素变换为加法单位元(0矩阵)
恒等变换:就是单位矩阵,将任何元素映射为自身
幂运算:自身乘自身,结果始终保持同构
求逆
# 零空间与值域
零空间的定义:设有线性映射T,T的零空间nullT为所有被T映射为0的向量组成的空间
在映射T∈L(V,W)中,若Tu=Tv,必有u=v,则称线性变换T是单的
单的,即一一映射
只需证明0是唯一一个被映称0的向量,可证明线性变换是单的
即证明
nullT={0}当
dimV > dimW,映射T一定不是单的
线性映射的值域:对于T: V -> W,其值域
- 其中
Tv∈W
当range T = W,我们称线性变换T是满的
注意range T同样是一个空间,且具有以下性质
dim V = dim nullT + dim rangeT- 当
dim W > dim V,线性变换T一定不是满的
# 线性映射的矩阵
线性变换的矩阵:线性变换T本身就是一个nxn矩阵,将其视为常数,右乘以一组基A,得到新的一组基B,这个矩阵B就称为线性变换T在基A下的矩阵
线性映射和他的矩阵的关系:线性变换T和他的矩阵B保持同构,即矩阵行列大小一样
我们把矩阵的第k列视为对第k个基向量的作用,如
那么T(1,0)=(1,2,7), T(0,1)=(3,5,9),那么T关于标准基的矩阵即为
线性变换的矩阵同样满足一切矩阵运算法则
矩阵加法:各元素相加
矩阵标量乘法:各元素乘以标量
矩阵乘法
# 可逆性
现有从V到W的线性映射T∈L(V,W),若存在从W到V的线性映射S∈L(W,V),使得ST为V上的恒等映射(1)且TS为W上的恒等映射,则称S是T的逆,T是可逆的
- 逆是唯一的
记作
- 其中
I是向量空间的恒等映射
命题:只有当线性映射既是单的又是满的时,才可逆
向量空间的同构:即维度相等
相似变换矩阵:
- 其中
T是可逆的线性变换,A,B是向量空间上的两个方阵
此时我们称A和B相似,记作A~B
# 多项式
# 次数
对于函数p: F —> F, 对于所有z,都有
则称p为系数在F中的多项式,若am!=0,则多项式次数为m,若ai全为0,则多项式次数为-∞,记作
若
则称p的根
向量空间可以由多项式表示:将(z,z^2,...,z^m)视作空间上的一组基,a为系数
- 当z
,若多项式始终为0,则系数全为零 —> 线性无关 P(F)表示在F中所有多项式(z取任意值)所组成的向量空间
命题:多项式的根总是(z-
推论:若多项式次数为m,那么他最多只有m个互不相同的根
带余除法:设p,q
- 且
deg r < deg p
# 复系数
顾名思义,即多项式的系数为复数的多项式叫做复系数多项式,但注意多项式的未知数属于F={R,C}
代数学基本定理:每个不是常数的复系数多项式都有根
推论:若p
逆天
# 实系数
同理,系数为实数的多项式叫做实系数多项式
复共轭:虚部取反,如2+3i的复共轭为2-3i
命题:若p是实系数多项式,
命题:
= 0为一个根> 0为两个根
定理:若p
逆天
# 本征值和本征向量
eigenvalue,一半德文一半英文,本征值即特征值
# 不变子空间
算子:一种映射,作用范围在同一向量空间,即从自身空间 映射到自身空间,如向量空间V上算子的集合记作L(V),等价于L(V,V)
对于V的子空间U,对于线性映射T,对于其任意向量组u
则称U是V在T上的不变子空间
V自身是不变子空间{0}是不变子空间nullT是不变子空间:零空间是被T映射为0的向量组的集合
一维不变子空间的证法:
要证明一个一维(注意是一维)子空间U为线性变换T的不变子空间,可以通过证明在U上,总有u∈U,存在标量λ,使得下式成立
上式也等价于
- 其中
I为标准基
这个向量u便是线性映射T的特征向量
这个λ就是线性映射T的特征值
- 要注意这里的
u必须是非零向量,不然λ不管怎么取等式总会成立
定理:不同特征值所对应的特征向量是线性无关的
推论:向量空间V上的每个算子(线性映射)最多有dimV个特征值
# 多项式对算子的作用
对于算子T∈L(V)
定义T上的幂运算
进一步有
当T可逆时,其中m,n可以为任意整数,不可逆时是非负整数
设有多项式p∈P(F),有
则对于算子T,p(T)为如下定义的算子
例如:p(z)=z^2,则p(T)=T^2,这是多项式的新用法,即作用于算子上而不是定义域内的元素
若p,q都是多项式,且系数都在F中,则pq是一个新的多项式,满足
同理有
并且这里等式左右的组合是可以交换的,即:pq(T)=qp(T),p(T)q(T)=q(T)p(T)
# 上三角矩阵
复向量空间上算子的中心结果之一
算子关于基的矩阵于线性映射关于基的矩阵定义保持一致
其中每个vi是一个长度为n的向量,T变换本身是一个nxn的矩阵
线代的一个中心目标就是要证明:给定一个算子T∈L(V),在V中有一个基使得T关于此基有相对简单的矩阵
- 相对简单指希望矩阵中
0的个数越多越好
对角线:从矩阵左上到矩阵右下
上三角矩阵:矩阵对角线下方元素全为0的矩阵
定理:对于任意算子T∈L(V),总有基使得T的矩阵为一个上三角矩阵
命题:当T的上三角矩阵对角线元素都不是0时,这个算子T自身是可逆的,这是一个充要条件
命题:T关于某个基的矩阵若为上三角矩阵,则这个上三角矩阵对角线上的元素恰好是T的所有特征值
回忆一下:特征值指Tu=λu中λ的取值,这个等式等价于(T-λI)u=0,自然u不为0阵
# 对角矩阵
对角矩阵指除对角线之外其他位置均为0的矩阵
- 对角矩阵一定是上三角矩阵,反之不成立
对角矩阵用diag表示,如diag(1,1,1,8)为
不是所有算子都有对应的对角矩阵,相对于上三角矩阵更加稀少
命题:只有当算子互不相同的特征值数量等于向量空间的维数时,这个算子才有其对应的对角矩阵,且对角线上各元素对应算子的各个特征值
# 实向量空间的不变子空间
在复向量空间中,每个算子都有其特征值,即复向量空间总有一维子空间,但对于实向量空间,这一结论并不成立
定理:在实向量空间中,算子可能不存在特征值,但实向量空间总有1维或2维不变子空间
定理:在奇数维的实向量空间中,每个算子都有特征值,即奇数维的实向量空间总有一维不变子空间
# 内积空间
# 内积
范数:向量的长度,如向量x=(1,2,3)的长度(范数)为
向量的点积:各分量乘积之和,如x=(1,2,3),y=(4,5,6),其点积为
显然点积满足交换律:即xy=yx
- 范数和点积都是一个数,而不是向量
- 点积是高维向量空间到一维向量空间的一种映射
容易得到
内积是点积在复向量空间的推广,对于一个复向量空间向量z(其分量均为复数a+bi的形式),有
V上的内积就是一个函数,它把V中元素的每个有序对(u,v)都映成一个数<u,v>(用尖括号表示内积结果)
上式也被称为Fn上的欧几里得内积
内积空间:带有内积的向量空间V
# 范数
对于向量v,其范数记为||v||,定义为
实际上也就等于各分量平方值和开根
正交:对于两个向量v,w,若二者的内积<v,w>=0,则称这两个向量正交
勾股定理(毕达哥拉斯定理):若u,v是V中的正交向量,则
柯西不等式:若u,v在向量空间V中,则
- 两向量内积的绝对值小于等于两向量范数之积
- 当二者线性相关时等号成立
三角不等式:若u,v在向量空间V中,则
两向量和的范数小于等于两向量范数的和
平行四边形等式:若u,v在向量空间V中,则
完全平方公式
# 规范正交基
如果一个向量组中的向量两两正交,并且每个向量的范数都为1,则称这个向量组是规范正交的,如向量组((1,0,0),(0,1,0),(0,0,1))就是一个规范正交的向量组
- 向量空间的标准基都是规范正交的
对于规范正交向量组(e1,e2,...,em),有
容易证明:每个规范正交向量组都是线性无关的
规范正交基:向量空间V中一个由规范正交向量组构成的基,如标准基
正常来说,用基去表示向量
需要找到每个分量上的标量,即(a1,...,an),这很困难,但对于规范正交基,这很简单,规范正交基的重要性也源于此(下述定理)
对于V中的规范正交基,对于每个V中向量组v,都有
并且
如何找到规范正交基?
格拉姆-施密特过程:设(a1,a2,...,an)是向量空间V的一个基,(b1,...,bn)是用于转换的中间向量
(e1,e2,...,en)便是由(a1,a2,...,an)所得到的一个两两正交的单位向量,并且是V的基,即为V的规范正交基
# 正交投影与极小化问题
正交补:U是V的子空间,U的正交补
就是和自身空间中所有向量垂直的向量组成的集合(空间)
可证得:
正交投影:因为
利用这种分解方式来定义V上的算子P(U),称为V到U上的正交投影(算子:变换规则)
在上一节中提到,若所使用的分解基为规范正交基,那么这个正交分解可以写为
极小化问题先略
# 线性泛函与伴随
这里的伴随和伴随矩阵是不相干的两个概念
线性泛函:就是一个函数(映射),如
分别对应标准基的矩阵为
第一个函数是F3上的一个线性泛函,从三维映射到一维;第二个函数是由三维映射到二维的函数
定义线性泛函T的伴随T*为
举个栗子:T是从三维映射到二维的线性泛函
设
则
故有
- 注意,若原泛函为
n维映射到m维,则它的伴随是由m维映射到n维
矩阵的共轭转置:对行与列互换,并对每个元素取复共轭
如何求泛函的伴随?
先复习一下线性映射的矩阵:线性变换T本身就是一个nxn矩阵,将其视为常数,右乘以一组基A,得到新的一组基B,这个基B的矩阵就称为线性变换T在基A下的矩阵
我们把矩阵的第k列视为对第k个基向量的作用,如
那么T(1,0)=(1,2,7), T(0,1)=(3,5,9),那么T关于标准基的矩阵即为
定理:在处理规范正交基时,即作用于的基u,w均为规范正交基,u对应泛函T的矩阵的共轭转置为其伴随T*关于基w的矩阵
- 一般来说使用标准基处理
- 另外需要注意的是,伴随和基的选取其实是无关的,即无论基如何选取,伴随还是那个伴随,只不过当基为规范正交时,映射和伴随的矩阵恰为共轭转置
# 内积空间上的算子
算子:线性映射、函数、线性泛函
# 自伴算子与正规算子
算子的矩阵:f(z1,z2,z3) = ((2z1-5z2),(z2+z3),(-z1-z3))关于标准基((1,0,0),(0,1,0),(0,0,1))的矩阵为
我们把矩阵的第k列视为对第k个基向量的作用
自伴算子:即算子自身矩阵和其伴随的矩阵相同的算子
如T关于标准基(标准正交基)的矩阵为
因为是作用于标准正交基,映射的矩阵的共轭转置即为其伴随关于这个基的矩阵,即
若T是自伴的,当且仅当b=3,此时上述两个矩阵完全相同,T=T*
剩下内容
- 谱定理
- 实内积空间上的正规算子
- 正算子
- 等距同构
- 极分解与奇异值分解