线性方程组的三种观点; 高斯消元法的几何意义;  线性代数基本定理的无技术证明

对于矩阵而言, 最不平凡的一个事实就是它的行秩=列秩, 这是一个看起来非常不可思议, 非常奇妙的事情. 这一事实, 被Strang教授称为线性代数基本定理, 本文是要给出这个定理的直观证明, 没有任何技术含量. 我要说明这个定理只是线性方程组的行向量观点和列向量观点的自然推论.

从不同的角度看矩阵很关键. 矩阵可以看作是欧式空间之间的一个线性映射, 也可以看作是一个两体关联. 但是要看到一个矩阵背后的几何, 即Strang教授的四个基本子空间的关系, 我们需要退回到线性方程组的角度来理解矩阵.但是不管怎么看, 一个重要的事实就是矩阵总是成对的出现(每一个矩阵都有唯一的一个转置矩阵). 这个事实虽然看起来很平凡, 但它其实是线性代数范畴非常重要的一种性质, 这个性质就像逻辑中的排中律一样重要. 在经典逻辑中, 命题总是成对出现的(每一个命题都有唯一的一个否命题). 矩阵的成对出现和命题的成对出现, 在范畴学的角度看来是一样的结构.

矩阵 A 可以看作是一个线性系统, 它定义了一族线性方程组 AX=b, b可以任意变化. 我们通常关心的问题都是如何求解, 解的多少的问题, 甚至关心它的广义解.

但是, 现在我们关心的是怎么样从不同的角度理解由矩阵 A 定义的线性方程组. 我们给出三种角度的理解, 它们分别是行向量的观点, 列向量的观点以及映射或矩阵的观点.

行向量的观点, 也称为源空间的观点, 它把线性方程组翻译成源空间(X-空间)中仿射超平面的相交问题, 它把线性方程组的每一个线性方程都理解成一个仿射超平面的方程. 我们在解析几何中学过仿射超平面的点法式方程, 因此很容易理解矩阵的行向量其实就是是仿射超平面的法向量.  行向量观点的主要收获就是行向量=法向量.

现在我们考虑齐次线性方程方程组 AX=0, 从行向量的观点很容易看出来, A的每一个行向量全体都和 A 的零向量(AX=0的解)垂直, 也就是说 A 的行向量空间(行向量张成的子空间)和 A 的零空间是正交的. 这是源空间(X空间)中发生的事情.矩阵总是成对出现. 

现在我们考虑 A 的转置矩阵 A*. 

显然, A 的行向量空间= A 的转置矩阵的列向量空间,  A 的列向量空间= A 的转置矩阵的行向量空间. 

和前面同样的逻辑, 我们可以考虑齐次方程组 A*Y=0, 并且利用行向量的观点, 发现 A* 的行向量空间(行向量张成的子空间)和 A* 的零空间是正交的, 这是发生在靶空间(Y空间)中的事情. 这些就是线性代数基本定理的第一个部分. 

列向量的观点, 也称为靶空间的观点, 它把列向量看作靶空间中的向量, 线性方程组看作是方程右侧的非齐次向量被列向量线性表出的问题, 这也是很自然的观点. 当X取遍源空间中所有的向量, 所有的右侧非齐次向量就张成一个线性空间, 称为矩阵 A 的列向量空间. 接下来我们就会看到, 列向量空间的观点特别适合从几何角度理解高斯消元法.

第三种线性映射的观点更简单,就是把矩阵 A 理解成线性映射 Y=AX. 从理解线性方程组的角度, 也可以把这种观点称为矩阵的观点, 它把线性方程组 AX=b 的信息全部抽象成增广矩阵的概念. 线性方程组的消元过程, 也就是对方程组进行同解变换过程, 就被理解成对增广矩阵进行行等价变换的过程. 可是从线性映射的观点看, 行等价变换的本质其实是改变靶空间的基的过程, 所以, 行等价变换就是靶空间的换基操作.

现在我们把三种观点结合起来理解高斯消元法. 

接下看, 我们来看线性代数基本定理的核心部分, 即 A 的行空间(源空间的子空间)与 A 的列空间(靶空间中的子空间)线性同构. 

如下图所示, 我们考虑 Y=AX 在 A 的行空间上的限制 R (restriction), 以及对偶映射 X=A*Y 在 A 的列空间上的限制 R*. 我们要说明 R 和 R* 都是可逆的.

显然, AX 是 A 的列向量的线性组合.  A*Y 是 A* 的列向量的线性组合, 因此也是  A 的行向量的线性组合. 因此, R 和 R* 的源空间和靶空间是互换的.

另外, 根据线性映射的定义, 行空间和零空间的正交性, 很容易看出来,  R 和 R* 都是满射. 另一方面, 根据 A 的行空间和 A* 的行空间的定义, 可知 R 和 R* 也都是单射. 因此, 它们都是可逆的线性映射, 即线性同构. 这样, 我们就没有用到任何技术和前提就证明了线性代数基本定理. 这也为我们理解奇异值分解定理和广义逆理论做好了准备.