线性代数概览
线性代数主要引入了几个工具,然后用这些工具解决了三个方面的问题。
本文也分成三个部分,第一部分重点介绍这几个概念的性质、几何意义、其计算方法,第二部分着重于如何解方程组,第三部分介绍相似理论,第四部分二次型。
第一部分 基本概念
向量与基向量
沿着坐标轴方程的单位向量叫做基向量,比如在平面内,有两个基向量i,j:
i在x轴方向上长度为1,在y轴方向上程度为0:
j在x轴方向上长度为0,在y轴方向上程度为1:
很明显,向量是基向量的线性组合。
线性相关与线性无关
当两个向量线性无关时,线性组合可以为平面中任意向量。
当两向量线性相关时,两向量共线,即
从这里可以看出,增加线性相关的向量并不能使要表达的张成空间更大,线性组合所能表达的张成空间是有线性无关的向量决定的。
同样的道理,在三维空间中,如果有一个向量落在前两个向量组成的平面内,也不能增加所要表达的张成空间。
线性无关向量集
线性无关向量集是张成空间的一个基。因为线性相关的向量对张成空间的表达没有任何影响,而线性无关的向量却可以决定张成空间的表达。
另外,矩阵中线性无关向量就是线性变换后线性空间的基。
矩阵乘法
矩阵乘法的几何意义是对一个向量做线性变换。而矩阵所描述的是如何更改基向量。实际上矩阵中的值就是变换后的基向量。例如:
的意思是让的基由变为
两个矩阵相乘实际上是表达了两种线性变换的叠加。例如,对向量v连续做两次线性变换等效于直接做一次线性变换:
所以可以得矩阵乘法公式是:第一行乘第一列,第二行乘第二列.......
以二阶为例:
初等矩阵
初等矩阵就是单位矩阵做一次行变换或一次列变换。可以用表示。
初等矩阵的逆还是其本身。(想一下求逆的过程,拼接一个单位矩阵,然后对初等矩阵做反变换的过程,相当于对单位矩阵做了一次变换。)
左行右列定理
用初等矩阵左乘一个矩阵相当于对这个矩阵做相同的初等行变换。
用初等矩阵右乘一个矩阵相当于对这个矩阵做相同的初等列变换。
向量空间
将向量换成在基下的写法:
向量在基下的坐标是。注意,这里只是换个写法而已,向量还是原来的向量。
将一个基为的空间变换成基为的空间:
其中叫过渡矩阵。
将向量线性变换到另一个坐标系下(注意与上面的区别):
其中 叫坐标变换公式(C的位置和方程组一样).
行列式
二维行列式的几何意义是经过线性变换后张成空间单位面积改变的比例。
相应的,三维空间中,行列式的几何意义是经过线性变换后张成空间单位体积改变的比例。
行列式为0,说明经过线性变换后,体积或面积没有了,也就是被降维了,即矩阵中有线性相关的列。
非方阵的矩阵,在几何意义上不是线性变换,不存在线性变换后张成空间单位面积改变的比例,所以不存在非方阵的行列式。
行列式的性质:
- 💥这个性质很容易从数值上证明相等。因为这个性质,以下关于行的性质也可以用于列。
- ,矩阵有0向量,降维了体积一定是0。
- ,矩阵线性相关,也是降维了。
- ,向量互换,面积的朝向变了,所以正负改变。
- ,其中一个向量增加k倍,面积就会增加k倍
- ,可以由4推到出
计算:
主(正)对角线相乘加正号,副(负)对角线相乘加负号。
展开式法:
注意矩阵与行列式与实数的乘法,,这是因为2A会使A的每行都乘2,取行列式后,每行都可以提出来一个2.
余子式与代数余子式
余子式表示行列式去掉第i行和第j列后,剩下的元素组成的新的行列式。
代数余子式
这其实是按第i行展开的逆用。
逆矩阵
只要空间没被降维,即,那么就一定能找到一个逆向的变换。
因为,而线性变换A可以同时拆分乘多个初等变换,所以有定理:可逆矩阵A,经过若干次初等行变换一定可以化成同阶单位阵E,即:
两边同时乘以得
所以用同样的变换可以把A化乘E,也可以将E化成。
伴随矩阵
伴随矩阵与逆矩阵作用相似,都是还原一个线性变换,区别是:
逆矩阵是将拉长的维度压缩,将压缩的维度拉长。
伴随矩阵是让拉长的维度保持不变,拉长其它所有的维度
所以伴随矩阵与逆矩阵有倍数关系:
行列式刚好是前面提到的张成空间被放大的比例。
上式两边同时乘E,可得
结合代数余子式的性质,可以得到的数值为:
是代数余子式竖着写,因为只有这样才能使
两边取行列式:
即:
即:
转置矩阵
转置矩阵的几何意义比较难以理解,好在翻遍整个线性代数转置出现的次数极少,说明至少在考研中转置不重要,只需从数值层面将转置理解为行和列互换即可。
矩阵的秩
矩阵的秩是经过线性变换后空间的维度。
通过初等变化将矩阵化为阶梯形,阶梯数即为矩阵的秩。
矩阵的秩有太多重要公式,而且证明过程也比较麻烦,所以需要直接记忆:
- 可逆矩阵不改变A的秩,若P,Q为可逆矩阵,则:
-
-
-
当 时,
-
-
-
若 是 阶方阵, , 则
-
若 是 阶方阵, , 则
非方阵的矩阵乘法的几何意义
代表了什么?升维了吗?
不,化简后为,还是二维的,只是把二维的坐标用三维表示了而已,本质还是二维,可以理解乘三维中的平面。
呢?
这是实打实的降维没错了,3维降到二维了。
点积
把它理解成向量w经过线性变换
是一维的,所以一定是降维了。把向量映射到了直线上,这点有点像PCA降维。
叉积
的结果是法向量,大小等于与围成的平行四边形的面积。注意叉积的结果是向量。
逆、伴随、转置相关运算
穿脱原则:
曾经找过证明,发现证明方法非常复杂,记住就好了。
逆、伴随、转置可以交换:
分块
第二部分 解方程组
按照中学的加减消元法解方程组,可以对它做3种操作:
- 互换两行位置。
- 某一行乘k倍。
- 把某一行加到另一行
这些操作相当于做初等行变换,也就是说,对方程组做初等行变换后得到的方程组是同解的。做这部分题时要想着解的是方程组,要与中学知识相对照。
基础解系
基础解系是一组线性无关的解向量,所有的解都可以由基础解系线性表出。
几何意义上,基础解系描述了解向量的向量空间。
下列方程:
若因为结果为0向量,所以必然为0,为任意常数。若想描绘解向量的空间,需要用两个线性无关的解向量的线性组合:
所以基础解系为:
通过这个例子,不难发现基础解系的个数为
非齐次线性方程组
当时,注意此时,这相当于将x线性变换后为b,一定有唯一解。唯一解可以化阶梯计算,也可以根据克拉默法则计算:
当时,分两种情况:
- 若b有A没有的维度即,这相当于线性变换后增加维度了,这是不肯能的,所以无解。
- 若b的维度A都有即,因为降维了,x被降的维度随便填,所以有无穷多解。
无穷多解时的通解等于对应齐次方程的通解加非齐次线性方程特解。
例如:
所以我们用初等行变换把系数矩阵化为阶梯型:
计算基础解系的个数:
对自由变量用1,0和0,1赋值,带入对应齐次方程的同解方程组,求出对应齐次方程的解向量:
对自由变量用全0赋值,带入非齐次方程的同解方程组,求出非齐次方程的特解:
结合起来得到通解:
齐次线性方程组
齐次线性方程组相当于非齐次线性方程组的特例,它一定有,所以省去了判断是否有解的步骤。
- 若未降维,只有零解。
- 若降维了,所以一定有无穷多解。
例如:
所以我们用初等行变换把系数矩阵化为阶梯型:
计算基础解系的个数:
对自由变量用1,0和0,1赋值,带入同解方程组,得:
所以通解为:
第三部分 相似理论
注:相似理论讨论的矩阵都是方阵。
特征值与特征向量
对二维的空间做线性变换后,有些向量只改变了大小,没有改变方向。
这些向量就是该二维空间的特征向量。大小改变的比例就是特征值。这个公式有个非常重要的性质:对左边作啥操作,对右边就作啥操作:
上式移项得特征方程:
这就是一个齐次线性方程组,若有解则:
可以解出特征值。注意:这个行列式为的三阶方程,但总可以通过变换将作为某行的公因式提出,从而行列式变为的二阶方程。
将解出的特征值代入特征方程:
即可解出特征向量.
重要结论:
- 不同特征值所对应的特征向量线性无关
- 相同特征值所对应的特征向量有可能线性相关,也有可能线性无关。
所对应线性无关的特征向量的个数为
关于特征值还有两个特别重要的性质:
因为表示整体缩放的体积,而特征值代表各维度缩放的大小,所以特征值的乘积等于行列式。
对于公式2,可以将A相似对角化,等式两边同时取迹,根据迹的性质,矩阵交换后迹相等,即。
相似与相似对角化
相似的定义:
相似的几何意义是在不同基中的同一个线性变换。也就是说A、B的数值不同只是因为坐标系不同而已,其它的性质完全相同。所以如果,则A和B:
- 秩相同
- 行列式相同
- 迹相同
- 特征值相同
- 特征向量的基础解系个数相同(线性无关的特征向量个数相同)(特征向量的张成空间相同)
这些性质都是必要条件,不是充分条件。究其原因是我们不能根据上面这些性质确定P。
相似矩阵的特征向量:
相似对角化的定义:
对于相似对角化,是特征值组成的对角阵,P是特征向量组成的,这就很容易确定P。若A有n个线性无关的特征向量,因为P是A的特征向量组成的,所以存在可逆矩阵P使上式成立,所以A可以相似对角化。若矩阵A没有n个线性无关的特征向量,因为P是A的特征向量组成的,则P不可逆,A不能相似对角化。
- 若特征值全都不同,因为不同特征值对应的特征向量一定线性无关,所以矩阵一定可以相似对角化。
- 若特征值有k重根,要求重根特征值有k个线性无关的特征向量。
正交矩阵
若P是正交矩阵则:
- P是由两两正交的单位向量组成的方阵
实对称矩阵
若,换言之它是关于主对角线对称的,这样的矩阵被称为实对称矩阵。
实对称矩阵有很多性质:
- 实对称矩阵必可用正交矩阵Q相似对角化。即存在
- 实对称矩阵不同特征值的特征向量相互正交。
- 实对称矩阵的n次幂还是实对称矩阵,
第四部分 二次型
注:二次型讨论的矩阵都是实对称矩阵。
二次形、标准形、规范形
二次形是一个二次齐次多项式。
为什么多项式的内容会放到线性代数里面?
因为任何一个二次形都可以化成的形式,其中A是实对称矩阵。
标准型:只有二次项,没有交叉项的二次形。
规范型:系数为的标准形。
正惯性指数=二次项正系数个数=正特征值个数
负惯性指数=二次项负系数个数=负特征值个数
用配方法将二次型化标准型、规范型
令:
即:
注意:这里的线性变换一定要是可逆的。按照标准的配方法,第一次配,后面就不再会出现,第二次配,剩下都是,这样一定是可逆的。但如果不是自己配方,而是题目已经给好的,那就要注意了。
可得标准型:
令:
可得规范型:
用正交变换法将二次型化标准型、规范型
二次项前面的系数写到主对角线上,交叉项前面的系数除2,写到对称的两侧。
由二次项的多项式化为矩阵形式的过程可知,A的主对角线是二次项系数,其它位置是交叉项系数,所以只要将A相似对角化,交叉项就会消失。
这里需要用正交矩阵相似对角化,因为正交矩阵,可以保证变化后还是二次型:
所以还需将P正交化和单位化,如果A的特征值都不相同,那么无需正交化,因为实对称矩阵不同特征值对应的特征向量相互正交。只需单位化即可。
将特征向量正交化
如上图所示,和是两个不正交的特征向量,先计算夹角:
计算在上的投影:
这里的计算要特别注意,先计算的长度,再乘以的单位向量。
做向量减法可得垂直于的向量:
这里要注意向量选取问题,选一个更小的模值作为分母,计算更加方便:
计算正交基时,若已知两个垂直的特征向量,那么这两个特征向量的向量积一定是与这两个特征向量都垂直的:
实对称矩阵的合同
相似是变换到最佳位置,而合同也是变换,但是没变换到最佳位置。“最佳位置”有,就是相似。没到最佳位置时,为合同。
判断两个矩阵合同还是相似的方法:当特征值完全一样时,有可能相似;当正负特征值个数相同时,合同。相似的矩阵迹相同,也可以用这条快速判断是否相似。
正定二次形
二次形,如果A的特征值都是正的,则A被称为正定矩阵,二次形为正定二次形。
显然正定二次形化为标准形后,对角线全正,其余位置都是0,二次项系数都为正,没有交叉项,所以正定二次形一定为正。
等价
向量组等价指两个向量组能相互表出。
矩阵等价指两个矩阵的秩相等。