第 3 章线性代数¶

本章预计学习时间： 6-8 小时
前置知识： 第 1 章（概率论基础）、高中数学
后续依赖： 第 9 章（信道估计）、第 10 章（均衡算法）、第 11 章（MIMO 系统）

📌 本章目标¶

学完本章后，你将能够：

掌握矩阵运算的基本规则和性质
理解特征值分解和奇异值分解的物理意义
应用矩阵求逆引理简化通信系统计算
推导 MIMO 系统中的关键公式
运用线性代数工具解决信号处理问题

3.1 矩阵基础回顾¶

🎯 基础概念¶

矩阵的定义¶

矩阵是一个由数字排列成的矩形阵列，通常用大写字母表示：

\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \]

维度：$m \times n$ 表示 $m$ 行 $n$ 列
元素：$a_{ij}$ 表示第 $i$ 行第 $j$ 列的元素
方阵：当 $m = n$ 时，称为 $n$ 阶方阵

特殊矩阵¶

矩阵类型	定义	示例
单位矩阵 $\mathbf{I}$	对角线为 1，其余为 0	$\begin{bmatrix}1&0\\0&1\end{bmatrix}$
对角矩阵 $\mathbf{D}$	只有对角线元素非零	$\begin{bmatrix}d_1&0\\0&d_2\end{bmatrix}$
对称矩阵 $\mathbf{A}^T = \mathbf{A}$	转置等于自身	协方差矩阵
正交矩阵 $\mathbf{Q}^T\mathbf{Q} = \mathbf{I}$	列向量正交归一	旋转矩阵
酉矩阵 $\mathbf{U}^H\mathbf{U} = \mathbf{I}$	复数域的正交矩阵	DFT 矩阵
Hermitian 矩阵 $\mathbf{A}^H = \mathbf{A}$	共轭转置等于自身	信道相关矩阵

🔧 矩阵运算¶

1. 矩阵加法¶

$$ (\mathbf{A} + \mathbf{B}){ij} = a $$ } + b_{ij性质：交换律、结合律

2. 矩阵乘法¶

\[ (\mathbf{AB})_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj} \]

重要性质： - ❌ 不满足交换律：$\mathbf{AB} \neq \mathbf{BA}$（一般情况） - ✅ 满足结合律：$(\mathbf{AB})\mathbf{C} = \mathbf{A}(\mathbf{BC})$ - ✅ 满足分配律：$\mathbf{A}(\mathbf{B}+\mathbf{C}) = \mathbf{AB} + \mathbf{AC}$

3. 矩阵转置¶

\[ (\mathbf{A}^T)_{ij} = a_{ji} \]

性质： - $(\mathbf{A}^T)^T = \mathbf{A}$ - $(\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T$ - $(\mathbf{A} + \mathbf{B})^T = \mathbf{A}^T + \mathbf{B}^T$

4. 共轭转置（Hermitian 转置）¶

\[ (\mathbf{A}^H)_{ij} = \overline{a_{ji}} \]

在通信中的应用： 复数信号处理、MIMO 信道矩阵

5. 矩阵求逆¶

若 $\mathbf{A}$ 是 $n \times n$ 方阵且可逆，则： $$ \mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I} $$

可逆条件： $\det(\mathbf{A}) \neq 0$

性质： - $(\mathbf{A}^{-1})^{-1} = \mathbf{A}$ - $(\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1}$ - $(\mathbf{A}^T)^{-1} = (\mathbf{A}^{-1})^T$

3.2 行列式与迹¶

📐 行列式（Determinant）¶

定义¶

对于 $2 \times 2$ 矩阵： $$ \det(\mathbf{A}) = \begin{vmatrix} a & b \ c & d \end{vmatrix} = ad - bc $$

对于 $3 \times 3$ 矩阵（按第一行展开）： $$ \det(\mathbf{A}) = a_{11}\begin{vmatrix}a_{22}&a_{23}\a_{32}&a_{33}\end{vmatrix} - a_{12}\begin{vmatrix}a_{21}&a_{23}\a_{31}&a_{33}\end{vmatrix} + a_{13}\begin{vmatrix}a_{21}&a_{22}\a_{31}&a_{32}\end{vmatrix} $$

重要性质¶

$\det(\mathbf{I}) = 1$
$\det(\mathbf{AB}) = \det(\mathbf{A})\det(\mathbf{B})$
$\det(\mathbf{A}^T) = \det(\mathbf{A})$
$\det(\mathbf{A}^{-1}) = \frac{1}{\det(\mathbf{A})}$
$\det(c\mathbf{A}) = c^n \det(\mathbf{A})$（$n$ 为矩阵维度）

物理意义¶

几何解释：行列式的绝对值表示线性变换的"缩放因子"
在通信中：MIMO 信道容量计算、矩阵可逆性判断

📊 迹（Trace）¶

定义¶

矩阵的迹是对角线元素之和： $$ \text{tr}(\mathbf{A}) = \sum_{i=1}^{n} a_{ii} $$

重要性质¶

$\text{tr}(\mathbf{A} + \mathbf{B}) = \text{tr}(\mathbf{A}) + \text{tr}(\mathbf{B})$
$\text{tr}(c\mathbf{A}) = c \cdot \text{tr}(\mathbf{A})$
循环性质：$\text{tr}(\mathbf{AB}) = \text{tr}(\mathbf{BA})$
推广：$\text{tr}(\mathbf{ABC}) = \text{tr}(\mathbf{BCA}) = \text{tr}(\mathbf{CAB})$
$\text{tr}(\mathbf{A}^T) = \text{tr}(\mathbf{A})$
$\text{tr}(\mathbf{A}^H\mathbf{A}) = \sum_{i,j} |a_{ij}|^2$（Frobenius 范数的平方）

在通信中的应用¶

信号功率计算：$\text{tr}(\mathbf{R}_x)$ 表示信号总功率
MIMO 系统：信道矩阵的迹用于功率归一化
估计理论：Cramér-Rao 下界计算

3.3 特征值与特征向量¶

🎯 核心概念¶

定义¶

对于 $n \times n$ 方阵 $\mathbf{A}$，如果存在非零向量 $\mathbf{v}$ 和标量 $\lambda$，使得： $$ \mathbf{A}\mathbf{v} = \lambda\mathbf{v} $$ 则称： - $\lambda$ 为**特征值** - $\mathbf{v}$ 为对应的**特征向量**

特征方程¶

\[ \det(\mathbf{A} - \lambda\mathbf{I}) = 0 \]

求解此方程得到 $n$ 个特征值 $\lambda_1, \lambda_2, \ldots, \lambda_n$

🔍 求解步骤¶

例：求 $\mathbf{A} = \begin{bmatrix} 4 & 1 \\ 2 & 3 \end{bmatrix}$ 的特征值和特征向量

Step 1: 写特征方程 $$ \det\begin{pmatrix} 4-\lambda & 1 \ 2 & 3-\lambda \end{pmatrix} = (4-\lambda)(3-\lambda) - 2 = \lambda^2 - 7\lambda + 10 = 0 $$

Step 2: 解特征值 $$ \lambda_1 = 5, \quad \lambda_2 = 2 $$

Step 3: 求特征向量

对 $\lambda_1 = 5$： $$ (\mathbf{A} - 5\mathbf{I})\mathbf{v} = \begin{bmatrix} -1 & 1 \ 2 & -2 \end{bmatrix}\begin{bmatrix} v_1 \ v_2 \end{bmatrix} = \mathbf{0} \Rightarrow \mathbf{v}_1 = \begin{bmatrix} 1 \ 1 \end{bmatrix} $$

对 $\lambda_2 = 2$： $$ (\mathbf{A} - 2\mathbf{I})\mathbf{v} = \begin{bmatrix} 2 & 1 \ 2 & 1 \end{bmatrix}\begin{bmatrix} v_1 \ v_2 \end{bmatrix} = \mathbf{0} \Rightarrow \mathbf{v}_2 = \begin{bmatrix} 1 \ -2 \end{bmatrix} $$

📐 特征值分解（Eigendecomposition）¶

如果 $n \times n$ 矩阵 $\mathbf{A}$ 有 $n$ 个线性无关的特征向量，则可以对角化： $$ \mathbf{A} = \mathbf{V}\mathbf{\Lambda}\mathbf{V}^{-1} $$

其中： - $\mathbf{V} = [\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n]$ 是特征向量矩阵 - $\mathbf{\Lambda} = \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)$ 是特征值对角矩阵

🔑 重要性质¶

迹与特征值：$\text{tr}(\mathbf{A}) = \sum_{i=1}^{n} \lambda_i$
行列式与特征值：$\det(\mathbf{A}) = \prod_{i=1}^{n} \lambda_i$
对称矩阵：特征值都是实数，特征向量正交
正定矩阵：所有特征值 $> 0$
半正定矩阵：所有特征值 $\geq 0$

📡 在通信中的应用¶

1. MIMO 信道容量¶

对于 MIMO 系统 $\mathbf{y} = \mathbf{H}\mathbf{x} + \mathbf{n}$，信道容量： $$ C = \sum_{i=1}^{r} \log_2\left(1 + \frac{P_i \lambda_i}{\sigma^2}\right) $$ 其中 $\lambda_i$ 是 $\mathbf{H}\mathbf{H}^H$ 的特征值（信道增益）

2. 主成分分析（PCA）¶

协方差矩阵的特征值表示各主成分的方差
最大特征值对应的特征向量是第一主成分方向
用于降维、信道压缩

3. 功率分配（注水算法）¶

最优功率分配： $$ P_i = \left(\mu - \frac{\sigma^{2}{\lambda_i}\right)}+ $$ 其中 $\lambda_i$ 是信道特征值

3.4 奇异值分解（SVD）⭐¶

🎯 核心定理¶

任意 $m \times n$ 矩阵 $\mathbf{A}$ 都可以分解为： $$ \mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^H $$

其中： - $\mathbf{U}$ 是 $m \times m$ 酉矩阵（左奇异向量） - $\mathbf{\Sigma}$ 是 $m \times n$ 对角矩阵（奇异值） - $\mathbf{V}$ 是 $n \times n$ 酉矩阵（右奇异向量）

📐 奇异值矩阵¶

\[ \mathbf{\Sigma} = \begin{bmatrix} \sigma_1 & 0 & \cdots & 0 & \cdots \\ 0 & \sigma_2 & \cdots & 0 & \cdots \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & \sigma_r & \cdots \\ \vdots & \vdots & \vdots & \vdots & \ddots \end{bmatrix} \]

其中： - $\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > 0$ 是**奇异值** - $r = \text{rank}(\mathbf{A})$ 是矩阵的秩 - 奇异值是 $\mathbf{A}^H\mathbf{A}$ 特征值的平方根：$\sigma_i = \sqrt{\lambda_i}$

🔍 SVD 的计算步骤¶

例：求 $\mathbf{A} = \begin{bmatrix} 3 & 0 \\ 0 & -2 \end{bmatrix}$ 的 SVD

Step 1: 计算 $\mathbf{A}^H\mathbf{A}$ $$ \mathbf{A}^H\mathbf{A} = \begin{bmatrix} 3 & 0 \ 0 & -2 \end{bmatrix}\begin{bmatrix} 3 & 0 \ 0 & -2 \end{bmatrix} = \begin{bmatrix} 9 & 0 \ 0 & 4 \end{bmatrix} $$

Step 2: 求特征值和特征向量 - $\lambda_1 = 9 \Rightarrow \mathbf{v}_1 = [1, 0]^T$ - $\lambda_2 = 4 \Rightarrow \mathbf{v}_2 = [0, 1]^T$

Step 3: 计算奇异值 - $\sigma_1 = \sqrt{9} = 3$ - $\sigma_2 = \sqrt{4} = 2$

Step 4: 计算左奇异向量 $$ \mathbf{u}_i = \frac{1}{\sigma_i}\mathbf{A}\mathbf{v}_i $$ - $\mathbf{u}_1 = \frac{1}{3}\begin{bmatrix} 3 & 0 \\ 0 & -2 \end{bmatrix}\begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$ - $\mathbf{u}_2 = \frac{1}{2}\begin{bmatrix} 3 & 0 \\ 0 & -2 \end{bmatrix}\begin{bmatrix} 0 \\ 1 \end{bmatrix} = \begin{bmatrix} 0 \\ -1 \end{bmatrix}$

Step 5: 写出 SVD $$ \mathbf{A} = \begin{bmatrix} 1 & 0 \ 0 & -1 \end{bmatrix}\begin{bmatrix} 3 & 0 \ 0 & 2 \end{bmatrix}\begin{bmatrix} 1 & 0 \ 0 & 1 \end{bmatrix}^H $$

🔑 SVD 的重要性质¶

存在性：任意矩阵都有 SVD（比特征值分解更通用）
唯一性：奇异值唯一，奇异向量在符号意义下唯一
低秩近似：前 $k$ 个奇异值给出最优秩-$k$ 近似
条件数：$\kappa(\mathbf{A}) = \frac{\sigma_{\max}}{\sigma_{\min}}$ 表示矩阵的病态程度
秩：$\text{rank}(\mathbf{A}) = $ 非零奇异值的个数
范数：
谱范数：$\|\mathbf{A}\|_2 = \sigma_{\max}$
Frobenius 范数：$\|\mathbf{A}\|_F = \sqrt{\sum \sigma_i^2}$

📡 在通信中的核心应用¶

1. MIMO 信道分解 ⭐⭐⭐¶

对于 MIMO 信道 $\mathbf{y} = \mathbf{H}\mathbf{x} + \mathbf{n}$，对 $\mathbf{H}$ 做 SVD： $$ \mathbf{H} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^H $$

预编码和解码： - 发送端预编码：$\mathbf{x} = \mathbf{V}\mathbf{s}$ - 接收端解码：$\tilde{\mathbf{y}} = \mathbf{U}^H\mathbf{y}$

等效信道： $$ \tilde{\mathbf{y}} = \mathbf{U}^H\mathbf{H}\mathbf{V}\mathbf{s} + \mathbf{U}^H\mathbf{n} = \mathbf{\Sigma}\mathbf{s} + \tilde{\mathbf{n}} $$

物理意义： 将 MIMO 信道分解为 $r$ 个并行的 SISO 子信道！

2. 波束成形（Beamforming）¶

右奇异向量 $\mathbf{V}$：最优发送波束成形矩阵
左奇异向量 $\mathbf{U}$：最优接收波束成形矩阵
最大奇异值 $\sigma_1$：最大信道增益方向

3. 信道压缩与反馈¶

只反馈前 $k$ 个奇异值和对应的奇异向量
大幅减少反馈开销
用于 FDD 系统的 CSI 反馈

4. 干扰抑制¶

零空间波束成形：将信号投射到干扰信道的零空间
利用 SVD 找到零空间基向量

3.5 矩阵求逆引理¶

🎯 Woodbury 矩阵恒等式¶

\[ (\mathbf{A} + \mathbf{UCV})^{-1} = \mathbf{A}^{-1} - \mathbf{A}^{-1}\mathbf{U}(\mathbf{C}^{-1} + \mathbf{V}\mathbf{A}^{-1}\mathbf{U})^{-1}\mathbf{V}\mathbf{A}^{-1} \]

其中： - $\mathbf{A}$ 是 $n \times n$ 可逆矩阵 - $\mathbf{C}$ 是 $k \times k$ 可逆矩阵 - $\mathbf{U}$ 是 $n \times k$ 矩阵 - $\mathbf{V}$ 是 $k \times n$ 矩阵

🔧 特例：Sherman-Morrison 公式¶

当 $\mathbf{C} = 1$（标量），$\mathbf{U} = \mathbf{u}$，$\mathbf{V} = \mathbf{v}^T$ 时： $$ (\mathbf{A} + \mathbf{u}\mathbf{v}^T)} = \mathbf{A}^{-1} - \frac{\mathbf{A^{{-1}\mathbf{u}\mathbf{v}}T\mathbf{A}^{-1}}{1 + \mathbf{v}^T\mathbf{A} $$}\mathbf{u}

📡 在通信中的应用¶

1. 递归最小二乘（RLS）算法¶

在自适应滤波中，需要实时更新： $$ \mathbf{R}^{-1}[n] = (\mathbf{R}[n-1] + \mathbf{x}[n]\mathbf{x}^H[n]) $$

使用 Sherman-Morrison 公式，避免每次重新求逆： $$ \mathbf{R}^{-1}[n] = \mathbf{R}^{-1}[n-1] - \frac{\mathbf{R}^{{-1}[n-1]\mathbf{x}[n]\mathbf{x}}H[n]\mathbf{R}^{-1}[n-1]}{1 + \mathbf{x}^{H[n]\mathbf{R}} $$}[n-1]\mathbf{x}[n]

计算复杂度： 从 $O(n^3)$ 降到 $O(n^2)$

2. MMSE 接收机¶

MMSE 滤波器： $$ \mathbf{W}_{\text{MMSE}} = (\mathbf{H}^H\mathbf{H} + \sigma^2\mathbf{I})^H $$}\mathbf{H

当用户数变化时，使用矩阵求逆引理快速更新

3. 卡尔曼滤波¶

卡尔曼增益更新： $$ \mathbf{K}[n] = \mathbf{P}[n|n-1]\mathbf{H}^{T(\mathbf{H}\mathbf{P}[n|n-1]\mathbf{H}}T + \mathbf{R})^{-1} $$

使用矩阵求逆引理简化计算

3.6 向量空间与投影¶

🎯 基本概念¶

线性组合¶

向量 $\mathbf{v}$ 是 $\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$ 的线性组合： $$ \mathbf{v} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k $$

线性相关与无关¶

线性相关：存在不全为零的 $c_i$ 使得 $\sum c_i\mathbf{v}_i = \mathbf{0}$
线性无关：只有 $c_1 = c_2 = \cdots = c_k = 0$ 时才有 $\sum c_i\mathbf{v}_i = \mathbf{0}$

基与维度¶

基：一组线性无关的向量，可以张成整个空间
维度：基向量的个数

📐 正交与投影¶

内积（点积）¶

对于实向量： $$ \langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{x}^T\mathbf{y} = \sum_{i=1}^{n} x_i y_i $$

对于复向量： $$ \langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{x}^H\mathbf{y} = \sum_{i=1}^{n} \overline{x_i} y_i $$

正交¶

两个向量正交当且仅当内积为零： $$ \langle \mathbf{x}, \mathbf{y} \rangle = 0 $$

投影¶

向量 $\mathbf{x}$ 在向量 $\mathbf{y}$ 上的投影： $$ \text{proj}_{\mathbf{y}}(\mathbf{x}) = \frac{\langle \mathbf{x}, \mathbf{y} \rangle}{\langle \mathbf{y}, \mathbf{y} \rangle}\mathbf{y} $$

向量 $\mathbf{x}$ 在子空间 $\mathcal{S}$（基矩阵 $\mathbf{A}$）上的投影： $$ \text{proj}{\mathcal{S}}(\mathbf{x}) = \mathbf{A}(\mathbf{A}^H\mathbf{A})}\mathbf{A}^H\mathbf{x} = \mathbf{P $$}}\mathbf{x

其中 $\mathbf{P}_{\mathbf{A}} = \mathbf{A}(\mathbf{A}^H\mathbf{A})^{-1}\mathbf{A}^H$ 是**投影矩阵**

📡 在通信中的应用¶

1. 最小二乘估计¶

问题：求解 $\mathbf{y} = \mathbf{H}\mathbf{x} + \mathbf{n}$ 中的 $\mathbf{x}$

最小二乘解： $$ \hat{\mathbf{x}} = (\mathbf{H}^H\mathbf{H}) $$}\mathbf{H}^H\mathbf{y

几何解释：$\mathbf{H}\hat{\mathbf{x}}$ 是 $\mathbf{y}$ 在 $\mathbf{H}$ 列空间上的投影

2. 零强迫（ZF）接收机¶

\[ \mathbf{W}_{\text{ZF}} = (\mathbf{H}^H\mathbf{H})^{-1}\mathbf{H}^H \]

原理：将接收信号投影到信道的伪逆空间，消除用户间干扰

3. 信号检测¶

在存在干扰的情况下，将接收信号投影到期望信号子空间，抑制干扰

3.7 二次型与正定矩阵¶

🎯 二次型¶

定义¶

\[ q(\mathbf{x}) = \mathbf{x}^H\mathbf{A}\mathbf{x} = \sum_{i=1}^{n}\sum_{j=1}^{n} \overline{x_i}a_{ij}x_j \]

其中 $\mathbf{A}$ 是 Hermitian 矩阵

正定性分类¶

类型	条件	特征值
正定	$\mathbf{x}^H\mathbf{A}\mathbf{x} > 0, \forall \mathbf{x} \neq \mathbf{0}$	全部 $> 0$
半正定	$\mathbf{x}^H\mathbf{A}\mathbf{x} \geq 0, \forall \mathbf{x}$	全部 $\geq 0$
负定	$\mathbf{x}^H\mathbf{A}\mathbf{x} < 0, \forall \mathbf{x} \neq \mathbf{0}$	全部 $< 0$
不定	可正可负	有正有负

📡 在通信中的应用¶

1. 信号能量¶

信号 $\mathbf{x}$ 的能量： $$ E = \mathbf{x}^H\mathbf{x} = |\mathbf{x}|^2 $$

2. 协方差矩阵¶

随机向量 $\mathbf{x}$ 的协方差矩阵： $$ \mathbf{R}_x = E[(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^H] $$

性质：总是半正定

3. 优化问题¶

在功率约束下最大化信噪比： $$ \max_{\mathbf{w}} \frac{\mathbf{w}^{H\mathbf{R}_s\mathbf{w}}{\mathbf{w}}H\mathbf{R}_n\mathbf{w}} $$

这是广义瑞利商问题，最优解是广义特征向量

3.8 克拉默 - 拉奥下界（CRLB）中的线性代数¶

🎯 Fisher 信息矩阵¶

对于参数向量 $\boldsymbol{\theta}$，Fisher 信息矩阵： $$ \mathbf{I}(\boldsymbol{\theta}) = E\left[\left(\frac{\partial \ln p(\mathbf{x};\boldsymbol{\theta})}{\partial \boldsymbol{\theta}}\right)\left(\frac{\partial \ln p(\mathbf{x};\boldsymbol{\theta})}{\partial \boldsymbol{\theta}}\right)^H\right] $$

📐 CRLB 定理¶

任何无偏估计量 $\hat{\boldsymbol{\theta}}$ 的协方差矩阵满足： $$ \text{Cov}(\hat{\boldsymbol{\theta}}) \succeq \mathbf{I}(\boldsymbol{\theta})^{-1} $$

其中 $\succeq$ 表示半正定序（即 $\text{Cov} - \mathbf{I}^{-1}$ 是半正定矩阵）

📡 应用示例¶

信道估计的 CRLB：

对于 $\mathbf{y} = \mathbf{H}\boldsymbol{\theta} + \mathbf{n}$，$\mathbf{n} \sim \mathcal{CN}(\mathbf{0}, \sigma^2\mathbf{I})$

Fisher 信息矩阵： $$ \mathbf{I}(\boldsymbol{\theta}) = \frac{1}{\sigma^2}\mathbf{H}H\mathbf{H} $$

CRLB： $$ \text{Cov}(\hat{\boldsymbol{\theta}}) \succeq \sigma^2(\mathbf{H}H\mathbf{H})^{-1} $$

LS 估计 $\hat{\boldsymbol{\theta}}_{\text{LS}} = (\mathbf{H}^H\mathbf{H})^{-1}\mathbf{H}^H\mathbf{y}$ 达到 CRLB，是最优无偏估计！

📊 本章公式速查表¶

公式	表达式	应用场景
矩阵乘法	$(\mathbf{AB})_{ij} = \sum_k a_{ik}b_{kj}$	所有 MIMO 运算
矩阵求逆	$\mathbf{A}\mathbf{A}^{-1} = \mathbf{I}$	信道均衡
Sherman-Morrison	$(\mathbf{A}+\mathbf{u}\mathbf{v}^T)^{-1} = \mathbf{A}^{-1} - \frac{\mathbf{A}^{-1}\mathbf{u}\mathbf{v}^T\mathbf{A}^{-1}}{1+\mathbf{v}^T\mathbf{A}^{-1}\mathbf{u}}$	RLS 算法
特征值分解	$\mathbf{A} = \mathbf{V}\mathbf{\Lambda}\mathbf{V}^{-1}$	PCA、功率分配
SVD	$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^H$	MIMO 预编码
投影矩阵	$\mathbf{P}_{\mathbf{A}} = \mathbf{A}(\mathbf{A}^H\mathbf{A})^{-1}\mathbf{A}^H$	最小二乘
MIMO 容量	$C = \sum_i \log_2(1 + \frac{P_i\lambda_i}{\sigma^2})$	系统性能分析
MMSE	$\mathbf{W} = (\mathbf{H}^H\mathbf{H} + \sigma^2\mathbf{I})^{-1}\mathbf{H}^H$	接收机设计

🎯 本章习题¶

基础题¶

3.1 计算矩阵 $\mathbf{A} = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}$ 的特征值和特征向量

3.2 对矩阵 $\mathbf{B} = \begin{bmatrix} 1 & 0 \\ 0 & 2 \\ 0 & 0 \end{bmatrix}$ 进行 SVD 分解

3.3 使用 Sherman-Morrison 公式计算 $(\mathbf{I} + \mathbf{u}\mathbf{u}^H)^{-1}$，其中 $\mathbf{u} = [1, 1]^T$

应用题¶

3.4 对于 $2 \times 2$ MIMO 信道 $\mathbf{H} = \begin{bmatrix} 1 & 0.5 \\ 0.5 & 1 \end{bmatrix}$： - (a) 计算 $\mathbf{H}$ 的 SVD - (b) 计算信道容量（假设 SNR = 10 dB） - © 设计最优预编码矩阵

3.5 推导 LS 估计量 $\hat{\mathbf{x}} = (\mathbf{H}^H\mathbf{H})^{-1}\mathbf{H}^H\mathbf{y}$ 的协方差矩阵，并验证其达到 CRLB

编程题¶

🔗 与后续章节的联系¶

后续章节	使用的线性代数知识
第 9 章信道估计	最小二乘、MMSE、投影、CRLB
第 10 章均衡算法	矩阵求逆、ZF、MMSE 接收机
第 11 章 MIMO	SVD、特征值分解、波束成形
第 12 章 OFDM	酉矩阵、DFT 矩阵性质

💡 学习建议¶

动手推导：不要只看公式，亲自推导每个重要结论
几何直观：理解矩阵运算的几何意义（旋转、缩放、投影）
编程验证：用 NumPy/MATLAB 验证理论结果
联系应用：时刻思考"这在通信系统中对应什么？"
重点掌握：SVD、特征值分解、矩阵求逆引理是核心中的核心

第 3 章完成 ✅
最后更新：2026-03-25

矩阵类型	定义	示例
单位矩阵 \(\mathbf{I}\)	对角线为 1，其余为 0	\(\begin{bmatrix}1&0\\0&1\end{bmatrix}\)
对角矩阵 \(\mathbf{D}\)	只有对角线元素非零	\(\begin{bmatrix}d_1&0\\0&d_2\end{bmatrix}\)
对称矩阵 \(\mathbf{A}^T = \mathbf{A}\)	转置等于自身	协方差矩阵
正交矩阵 \(\mathbf{Q}^T\mathbf{Q} = \mathbf{I}\)	列向量正交归一	旋转矩阵
酉矩阵 \(\mathbf{U}^H\mathbf{U} = \mathbf{I}\)	复数域的正交矩阵	DFT 矩阵
Hermitian 矩阵 \(\mathbf{A}^H = \mathbf{A}\)	共轭转置等于自身	信道相关矩阵

类型	条件	特征值
正定	\(\mathbf{x}^H\mathbf{A}\mathbf{x} > 0, \forall \mathbf{x} \neq \mathbf{0}\)	全部 \(> 0\)
半正定	\(\mathbf{x}^H\mathbf{A}\mathbf{x} \geq 0, \forall \mathbf{x}\)	全部 \(\geq 0\)
负定	\(\mathbf{x}^H\mathbf{A}\mathbf{x} < 0, \forall \mathbf{x} \neq \mathbf{0}\)	全部 \(< 0\)
不定	可正可负	有正有负

公式	表达式	应用场景
矩阵乘法	\((\mathbf{AB})_{ij} = \sum_k a_{ik}b_{kj}\)	所有 MIMO 运算
矩阵求逆	\(\mathbf{A}\mathbf{A}^{-1} = \mathbf{I}\)	信道均衡
Sherman-Morrison	\((\mathbf{A}+\mathbf{u}\mathbf{v}^T)^{-1} = \mathbf{A}^{-1} - \frac{\mathbf{A}^{-1}\mathbf{u}\mathbf{v}^T\mathbf{A}^{-1}}{1+\mathbf{v}^T\mathbf{A}^{-1}\mathbf{u}}\)	RLS 算法
特征值分解	\(\mathbf{A} = \mathbf{V}\mathbf{\Lambda}\mathbf{V}^{-1}\)	PCA、功率分配
SVD	\(\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^H\)	MIMO 预编码
投影矩阵	\(\mathbf{P}_{\mathbf{A}} = \mathbf{A}(\mathbf{A}^H\mathbf{A})^{-1}\mathbf{A}^H\)	最小二乘
MIMO 容量	\(C = \sum_i \log_2(1 + \frac{P_i\lambda_i}{\sigma^2})\)	系统性能分析
MMSE	\(\mathbf{W} = (\mathbf{H}^H\mathbf{H} + \sigma^2\mathbf{I})^{-1}\mathbf{H}^H\)	接收机设计

第 3 章 线性代数¶

📌 本章目标¶

3.1 矩阵基础回顾¶

🎯 基础概念¶

矩阵的定义¶

特殊矩阵¶

🔧 矩阵运算¶

1. 矩阵加法¶

2. 矩阵乘法¶

3. 矩阵转置¶

4. 共轭转置（Hermitian 转置）¶

5. 矩阵求逆¶

3.2 行列式与迹¶

📐 行列式（Determinant）¶

定义¶

重要性质¶

物理意义¶

📊 迹（Trace）¶

定义¶

重要性质¶

在通信中的应用¶

3.3 特征值与特征向量¶

🎯 核心概念¶

定义¶

特征方程¶

🔍 求解步骤¶

📐 特征值分解（Eigendecomposition）¶

🔑 重要性质¶

📡 在通信中的应用¶

1. MIMO 信道容量¶

2. 主成分分析（PCA）¶

3. 功率分配（注水算法）¶

3.4 奇异值分解（SVD）⭐¶

🎯 核心定理¶

📐 奇异值矩阵¶

🔍 SVD 的计算步骤¶

🔑 SVD 的重要性质¶

📡 在通信中的核心应用¶

1. MIMO 信道分解 ⭐⭐⭐¶

2. 波束成形（Beamforming）¶

3. 信道压缩与反馈¶

4. 干扰抑制¶

3.5 矩阵求逆引理¶

🎯 Woodbury 矩阵恒等式¶

🔧 特例：Sherman-Morrison 公式¶

📡 在通信中的应用¶

1. 递归最小二乘（RLS）算法¶

2. MMSE 接收机¶

3. 卡尔曼滤波¶

3.6 向量空间与投影¶

🎯 基本概念¶

线性组合¶

线性相关与无关¶

基与维度¶

📐 正交与投影¶

内积（点积）¶

正交¶

投影¶

📡 在通信中的应用¶

1. 最小二乘估计¶

2. 零强迫（ZF）接收机¶

3. 信号检测¶

3.7 二次型与正定矩阵¶

🎯 二次型¶

定义¶

正定性分类¶

📡 在通信中的应用¶

1. 信号能量¶

2. 协方差矩阵¶

3. 优化问题¶

3.8 克拉默 - 拉奥下界（CRLB）中的线性代数¶

🎯 Fisher 信息矩阵¶

📐 CRLB 定理¶

📡 应用示例¶

📊 本章公式速查表¶

🎯 本章习题¶

基础题¶

应用题¶

编程题¶

🔗 与后续章节的联系¶

第 3 章线性代数¶