矩阵相关知识
首先声明一个“原矩阵”的概念。我们用作参考来说明的原始矩阵 \(\boldsymbol{M}\) , 在下面的文字中被称为原矩阵。为了方便描述各种矩阵，先建立一个矩阵假设原型 \[ \boldsymbol{M} = \begin{bmatrix} c_{11} & c_{12} & c_{13} \\ c_{21} & c_{22} & c_{23} \\ c_{31} & c_{32} & c_{33} \\ \end{bmatrix} \]
约定对角线为方阵从左上角到后下角各行号与列号相等的元素构成，反对角线为方阵从右上角到左下角其行号和列号互补的元素构成。
由于学习过程中参考了不同的资料，对于n维矩阵和n阶矩阵交替出现， 但是他们都代表相同的含义。
转置矩阵
将原矩阵中所有元素的行列编号颠倒构成新的矩阵 \(\boldsymbol{M}^T\) , 该矩阵就叫做原矩阵的转置矩阵
其变换公式为 \(c'_{rc} = c_{cr}\)
\[ c'_{rc} = c_{cr} \]
公式中 \(c_{cr}\) 代表原矩阵第c行第r列的元素。 \(c'_{rc}\) 代表转置矩阵中第r行第c列的元素。
用更形象一点的表述为，将原矩阵沿对角线进行了“翻转”。
转置矩阵 \(\boldsymbol{M}^T\) 为:
\[ \boldsymbol{M}^T = \begin{bmatrix} c_{11} & c_{21} & c_{31} \\ c_{12} & c_{22} & c_{32} \\ c_{13} & c_{23} & c_{33} \\ \end{bmatrix} \]
转置矩阵的性质
一个重要的性质是：转置矩阵的行列式和原矩阵行列式保持不变
对于转置矩阵的运算性质
\[ \begin{eqnarray} (\boldsymbol{M}^T)^T &=& \boldsymbol{M} \tag{1} \\ (k\boldsymbol{M})^T &=& k\boldsymbol{M}^T \tag{2} \\ (\boldsymbol{A}\boldsymbol{B})^T &=& \boldsymbol{B}^T\boldsymbol{A}^T \tag{3} \\ (\boldsymbol{A} + \boldsymbol{B})^T &=& \boldsymbol{A}^T + \boldsymbol{B}^T \tag{4} \\ \det{\boldsymbol{M}} &=& \det{\boldsymbol{M}^T} \tag{5} \end{eqnarray} \]
即:
- (1)矩阵转置后再转置，得到原矩阵。
- (2)矩阵数乘后转置，等于转置矩阵数乘。 (该条性质可以由(1)根据数乘性质推得)
- (3)两矩阵乘后转置，等于其转置矩阵反向乘。
- (4)两矩阵加和后转置，等于他们的转置矩阵的和。
- (5)原矩阵的行列式和转置矩阵的行列式相等。
对称矩阵与反对称矩阵
特别的，对于矩阵是方阵的类型，若 \(\boldsymbol{M}^T = \boldsymbol{M}\) , 则方阵可以被称为对称矩阵。
对于矩阵是方阵的类型，若 \(\boldsymbol{M}^T = \boldsymbol{-M}\) , 则方阵可以被称为反对称矩阵。
由于转置过程中 \(c'_{rc} = c_{cr}\) ， \(r=c\) 位置(即对角线位)的元素不会变化， 要满足 \(c'_{rc}=-c_{cr}\) 的唯一条件是该位置元素为0。所以我们可以得出结论，非对称矩阵对角线元素一定为0。
形象的记忆，这里的对称，可以理解为方阵沿主对角线轴对称
行列式
我一时找不到一个合适的描述来给行列式下一个定义。
对于任意方阵，总存在这么一个标量， 它可以由“行列式定义”计算得到，我们把这个标量称呼为矩阵的行列式。
需要注意的是，行列式只对方阵有定义，对非方阵没有定义。1维矩阵的行列式与它唯一的元素相等。
行列式的记号
对于矩阵 \(\boldsymbol{M}\) 来说，学术圈主流有两种记号来表达它的行列式
- \(|\boldsymbol{M}|\)
- \(\det{\boldsymbol{M}}\)
行列式的几何意义
对于任意的二维/三维矩阵 \(\boldsymbol{M}\) 来说，我们把它视为一个变换，那么行列式在几何上表达这个变换前后物体的面积/体积的变化率(即变化倍数)。
若行列式为负值，其表明物体的 面积/体积翻转(可类比镜像变换，但是这里并不能表达出其角度打小的恒定，只表达出方向的变化)。
当行列式值为0时，则说明其面积/体积变为0，直接说明此变换包含一个投影， 此时有至少一个维度上所有信息被归零丢失, 我们无法做此变换的逆变换了，矩阵 \(\boldsymbol{M}\) 不可逆，为奇异矩阵。
拓展到更高的维度上， 行列式也表达高维体积的变化率。对于一维向量来说，它表达更丰富的含义，但最直接的，它表达向量的模（长度信息）的变化率。
行列式的定义
我在这里将行列式用复合形式定义，对于低维度矩阵使用表式定义，对于高维矩阵使用递归定义。
二维矩阵行列式
\[ \begin{aligned} |\boldsymbol{M}| & = \left| \begin{matrix} c_{11} & c_{12} \\ c_{21} & c_{22} \\ \end{matrix} \right| \\ & = (c_{11}c_{22})-(c_{12}c_{21}) \end{aligned} \]
三维矩阵行列式
\[ \begin{aligned} |\boldsymbol{M}| &= \left| \begin{matrix} c_{11} & c_{12} & c_{13} \\ c_{21} & c_{22} & c_{23} \\ c_{31} & c_{32} & c_{33} \\ \end{matrix} \right| \\ &=(c_{11}c_{22}c_{33})+(c_{12}c_{23}c_{31})+(c_{13}c_{21}c_{32}) \\ &\;-(c_{11}c_{23}c_{32})-(c_{12}c_{21}c_{33})-(c_{13}c_{22}c_{31}) \end{aligned} \]
更高维矩阵行列式
更高维度的矩阵的行列式定义，这里需要引入一个概念，叫做余子式。余子式的概念和相关性质在后文中给出，这里只是先使用。
从矩阵中任意选择一行或者一列, 对该行或列的每个元素都乘以该元素对应的代数余子式， 将他们作和就是该矩阵的行列式。
以下公式将选择一行i做为固定值， 对元素按列进行迭代。
\[ \begin{aligned} \det\boldsymbol{M} &= \sum_{j=1}^{n} m_{ij}c_{ij} \\ &= \sum_{j=1}^{n}m_{ij}(-1)^{i+j}\left| \boldsymbol{M}^{\{ij\}}\right| \end{aligned} \]
这里 \(|\boldsymbol{M}^{\{ij\}}|\) 又为其余子式的行列式， 但是其阶数为(n-1), 递归的套用上式， 最终可使得公式中代数余子式的维度为1（或者2，或者3皆可）， 然后我们套用之前的定义，可以求得其行列式。
行列式的性质
\[ \begin{aligned} |\boldsymbol{A}| &= |\boldsymbol{A}^T| \\ |\boldsymbol{A}\boldsymbol{B}| &= |\boldsymbol{B}\boldsymbol{A}| \\ |k\boldsymbol{A}| &= k^n|\boldsymbol{A}| \\ |\boldsymbol{A}\boldsymbol{B}| &= |\boldsymbol{A}||\boldsymbol{B}| \\ |\boldsymbol{A}^n| &= |\boldsymbol{A}|^n \\ \end{aligned} \]
n 为矩阵的维数
余子式
余子式是一个与原矩阵行列相关的子矩阵。将矩阵 \(\boldsymbol{M}\) 中某些行/列去掉后,剩余的矩阵就叫做余子式,也有叫法叫做余因式。
n阶矩阵 \(\boldsymbol{M}\) , 选定其第i行j列的元素 \(c_{ij}\) ,去除矩阵 \(\boldsymbol{M}\) 的第i行和第j列, 剩下的元素保持位置组成的矩阵就叫做元素 \(c_{ij}\) 的余子式。余子式与元素 \(c_{ij}\) 的值无关,只与元素所在的位置有关。
第 \(i\) 行第 \(j\) 列的余子式记做 \(\boldsymbol{M}^{\{ij\}}\) 。
代数余子式
区别于余子式，代数余子式是一个 标量, 它是由矩阵元素 \(m_{ij}\) 与其对应余子式 \(\boldsymbol{M}^{\{ij\}}\) 的行列式的乘积再乘以符号因子 \((-1)^{i+j}\) 。 显然的， 当行列号之和 \(j+j\) 为偶数时符号因子为正，行列号之和 \(i+j\) 为奇数时，符号因子为负。
第i行j列的代数余子式记做 \(c_{ij}\) 。
\[ c_{ij} = (-1)^{i+j}m_{ij}\left|\boldsymbol{M}^{\{ij\}}\right| \]
伴随矩阵
伴随矩阵是原矩阵的代数余子式构成的矩阵的转置矩阵。记做 \(adj\boldsymbol{M}\)
\[ \begin{aligned} adj\boldsymbol{M} &= \begin{bmatrix} c_{11} & c_{12} & c_{13} \\ c_{21} & c_{22} & c_{23} \\ c_{31} & c_{32} & c_{33} \end{bmatrix}^T \\ & = \begin{bmatrix} c_{11} & c_{21} & c_{31} \\ c_{12} & c_{22} & c_{32} \\ c_{13} & c_{23} & c_{33} \end{bmatrix} \end{aligned} \]
逆矩阵
一个(组)向量 经过矩阵 \(\boldsymbol{M}\) 变换后再经过矩阵 \(\boldsymbol{N}\) 变换仍得到原先的向量， 此时，就仿佛 \(\boldsymbol{N}\) 将 \(\boldsymbol{M}\) 所施加的变换“撤销”了。 使用公式表述即 \(\boldsymbol{N}\boldsymbol{M}\boldsymbol{A}=\boldsymbol{A}\) , \(\boldsymbol{N}\boldsymbol{M}=\boldsymbol{I}\) 。若满足这个条件 \(\boldsymbol{N}\) 叫做 \(\boldsymbol{M}\) 的逆矩阵，记做 \(\boldsymbol{M}^{-1}\)
更简短一点的表述，若两个方阵的积为单位矩阵， 则这两个矩阵互为逆矩阵。
\[ \boldsymbol{M}\boldsymbol{M}^{-1} = \boldsymbol{I} \]
逆矩阵的性质
\[ \begin{aligned} \boldsymbol{M}\boldsymbol{M}^{-1} &= \boldsymbol{I} \\ \boldsymbol{I}^{-1} &= \boldsymbol{I} \\ (\boldsymbol{M}^{-1})^{-1} &= \boldsymbol{M} \\ (\boldsymbol{M}^{-1})^T &= (\boldsymbol{M}^T)^{-1} \\ (\boldsymbol{A}\boldsymbol{B})^{-1} &= \boldsymbol{A}^{-1}\boldsymbol{B}^{-1} \end{aligned} \]
求逆矩阵的主要方式
a. 伴随矩阵法
\[ \boldsymbol{M}^{-1} = \dfrac{adj\boldsymbol{M}}{\det{\boldsymbol{M}}} \]
b. 高斯消元
c. 对于确定的正交矩阵，直接使用其转置矩阵
对于正交矩阵来说，由于其性质 \(\boldsymbol{M}\boldsymbol{M}^T = \boldsymbol{I}\) ， 所以其逆矩阵就是其转置矩阵。
正交矩阵
若对于方阵 \(\boldsymbol{M}\) , 满足 \(\boldsymbol{M}\) 与它的转置矩阵 \(\boldsymbol{M}^T\) 的乘积为单位矩阵, 则矩阵 \(\boldsymbol{M}\) 被称为正交矩阵。