logo资料库

MIT线性代数导论笔记.pdf

第1页 / 共114页
第2页 / 共114页
第3页 / 共114页
第4页 / 共114页
第5页 / 共114页
第6页 / 共114页
第7页 / 共114页
第8页 / 共114页
资料共114页,剩余部分请下载后查看
第十四课时:正交向量与子空间
第十五课时:子空间投影
第十六课时:投影矩阵和最小二乘
1第一课时:方程组的几何解释一、线性方程组的两种理解方式:行图像和列图像对于方程组:我们可以表示成矩阵形式:系数矩阵A,未知数向量x,右侧向量为b,则可写成Ax=b1)行图像的理解方式:试图将每一个完整方程所表示的图像表示出来。交点即方程的解为(1,2)。2)列图像的理解方式:关注矩阵的列所表示的向量,把两个方程组放在一起考虑:这样做的目的是找到两个列向量的正确的线性组合为右侧向量,现在需要求x,y这两个数值,来制造向量(0,3),其几何形式,图像如下选取所有的x和y,即所有的线性组合即为整个坐标平面。可以求出右侧任意的b向量。
2考虑扩展至三维空间,在行图像中,一个含有3个未知数的方程组在三维空间中确定一个平面,两个方程组确定一条直线,三个方程组确定一个点,这个点就是方程组的解,当然前提是这三个方程组所确定的平面两两不平行。在列图像中,可类似二维中作出三个列向量的几何图像并求得线性组合。扩展至n维,可以此类推。二、方程组解的情况对于上面3维空间的例子,保证左侧矩阵不变,然后考虑所有右侧向量,任意b,是否每个b都有对应解?换种说法:列的线性组合是否能覆盖整个三维空间?非奇异矩阵,可逆矩阵可以做到。如果是奇异矩阵,即不可逆矩阵,在行图像中看即至少有两个方程组所表示的平面是平行的,在列图像中看即至少有两个列向量是指向同一方向的(即不相互独立,相当于同一个向量),此时,只有b处在这个向量和另一个非共线向量所表示的平面内时,方程组才有解。三、矩阵与向量相乘的方法1)将矩阵A与向量x的相乘,看着A各列的线性组合,这是极力推荐的。矩阵乘以右侧列向量可看成矩阵各列向量的线性组合,结果为列向量左侧行向量乘以矩阵可看成矩阵各行向量的线性组合,结果为行向量2)原始点乘方式。
3第二课时:矩阵消元本课时的目标是用矩阵变换描述消元法。核心概念是矩阵变换。一、消元法消元法:将主对角线上的主元固定(0不能做主元),把主元下面的元素消为0。过程:先完成左侧矩阵的消元(变成上三角矩阵),再回代运算右侧向量,最后即可求出解完成整个消元过程。(matlab也是先计算左侧矩阵,再回头计算右侧向量的)左侧矩阵的消元过程:U矩阵是A矩阵的最终消元结果右侧向量回代过程:A中加入b列向量变成增广矩阵,增广就是增加的意思,增加了新列,左侧矩阵消元时,右侧向量也会跟着变化。c向量是b向量的最终结果求解:将U和c代入原式子可得解消元法失效的情况(指不能得到三个主元):当主元上为0时,就通过交换行将主元位置变为非0,当通过交换行还不能解决0主元的时候,消元法就失效了。(不能解决0主元的矩阵是不可逆矩阵)二、引入矩阵描述这些(消元步骤的)变化(消元矩阵),用矩阵语言描述整个消元过程。
4回忆下我们应该怎样看待矩阵乘法:矩阵乘以列向量是矩阵列的线性组合,结果为列向量;行向量乘以矩阵式矩阵行的线性组合,结果为行向量。下面用消元矩阵来对矩阵进行消元,注意变换过程我们应该始终用线性组合的方式进行思考。同时注意到:单位矩阵是一个不会对任何矩阵有任何变换作用的矩阵。第一步消元:我们要对中间的矩阵进行消元,得到右侧矩阵,第一步为row2=row2-3*row1。依次考虑左侧矩阵的行,第一行与中间矩阵的各个行向量进行线性组合,右侧矩阵的第一个行向量就是这个线性组合的结果,可观察容易得出左侧消元矩阵第一行为(100)。其实只需要由变换(row2=row2-3*row1)可得,消元矩阵中只有第二行有不同于单位矩阵的数值,即(-310)。第二步消元:以上每一步消元都使用到一个初等矩阵进行变换,我们将这些初等矩阵变换步骤综合起来(为什么综合起来?原因之一是更节省空间),即有什么矩阵可以一次性完成E32和E21的消元任务呢?可以用结合律将E32和E21乘起来得到,但我们不这样做。更好的方法:不是关于A怎么变换成U,而是U如何变成A,逆变换。下一课时将详细讲解。逆矩阵,右侧消元矩阵表示的变换是row2减去3倍row1,将右侧向量从(2122)变成(262)。现在需要将(262)通过找到某矩阵取消这次消元,减去多少就加回来多少,变回(2122),即该矩阵乘以初等矩阵得到单位矩阵。即:原矩阵是A,E1A=B,E2E1A=E2B,A=E2B(E2会将B变回A),IA=E2B,E2E1=I,E2与E1互为逆矩阵。
5置换(permutation)矩阵:即交换行或交换列的变换矩阵行交换:列交换:
6第三课时:乘法与逆矩阵本课时先讲解矩阵乘法运算,然后是逆矩阵一、矩阵乘法:5种方法Am×nBn×p=Cm×p,A列必须等于B的行数1)常规方法,行列点乘法:C=AB,C中的第i行j列结果来自A的第i行向量与B的第j列向量的点乘。整行整列的进行。2)列方法,整列考虑,列的线性组合方式:B的一个列向量乘以A(矩阵A各列向量的线性组合)得到C的对应列向量,此过程其余列向量暂不参与计算。3)行方法,整行考虑,行的线性组合方式:A的一个行向量乘以B(矩阵B各行向量的线性组合)得到C的对应行向量,此过程其余行向量暂不参与计算。4)列×行法:AB等于A各列与B各行乘积之和:A中列乘以B中行,如A第一列乘以B第一行得一个矩阵(这样的矩阵很特殊,行向量和列向量都是单个向量的线性组合,第四讲会讲到有关行空间,列空间的概念),最后将得到的各矩阵相加。我们就看一列和一行相乘的例子:特殊之处:右侧矩阵的行空间是一条直线,即行所有可能的线性组合都在一条直线上;同理其列空间也是直线。所以这实际上是一个很小的矩阵。5)分块乘法:将矩阵A,B分成能够相互匹配的块,然后对应进行分块行点乘分块列。二、矩阵的逆对于可逆方阵,左逆矩阵等于右逆矩阵。
7什么样的矩阵可逆或者说是非奇异的?我们可以讨论奇异矩阵,不可逆的情况。1)行列式为02)列图像思考,假设A可逆,那A乘以他的逆矩阵得单位矩阵,A矩阵乘以其逆矩阵的第一列得单位矩阵的第一列(10),因为其列的线性组合始终在(12)这条直线上,所以不可能得到(10)向量。3)如果存在非0向量X,使的AX=0,即X对A的列向量的线性组合可以得到0向量(有一列在线性组合中不起作用),那么A是不可逆的。证明:假设存在可逆矩阵A-1,那么有A-1AX=0,得IX=0,得X=0,与X是非0向量相违背。结论:不可逆矩阵,奇异矩阵,其列能通过线性组合得到0向量。如何求逆?1)利用列的线性组合思想,矩阵A乘以该求的逆矩阵得到单位矩阵,这样,求逆和求方程组是一个意思2)将两个方程组放在一起考虑,如下,可理解为系数矩阵不变,分别求两个方程组的解,即可求得矩阵的逆。我们把下面两个放在一起考虑,形成增广矩阵,使得消元变换对两个方程组的作用是一样的。将增广矩阵的左侧变换消元为单位矩阵,右侧就变成其逆矩阵了。这是高斯-若尔当思想消元。为什么增广矩阵的右侧变成的是矩阵A的逆,以下变换给予证明:E为一次性的消元矩阵,EA=I,那么E=A-1了
8A和B都存在逆,那么AB的逆是多少?是B的逆乘以A的逆得到的矩阵。为什么相乘的顺序要反过来?因为逆即是逆操作。可逆矩阵转置的逆是什么?A乘以A的逆等于单位矩阵,两侧同时转置,右侧单位矩阵转置仍然得单位矩阵,左侧分别转置两个矩阵,然后以相反顺序相乘,因此A的逆的转置乘以A的转置得到单位阵。A转置的逆即是A的逆的转置。因此,要求A转置的逆,只需要先求A的逆,然后求该逆的转置即可。转置和逆两种乘法运算,对于单个矩阵而已,其顺序可以颠倒。
分享到:
收藏