跳转至

第 1 章 概率论基础

本章预计学习时间: 4 小时
前置知识: 高中数学(函数、方程)
后续依赖: 第 2 章(随机过程)、第 4 章(估计理论)、第 5 章(检测理论)


📌 本章目标

学完本章后,你将能够:

  1. 理解 随机变量、概率分布的本质含义
  2. 计算 期望、方差、协方差
  3. 应用 贝叶斯公式解决通信问题
  4. 解释 高斯分布、瑞利分布在通信中的物理意义

1.1 什么是随机变量?

🎯 基础概念(零基础友好)

生活中的随机现象

想象你在等公交车: - 确定性现象: 公交车每 10 分钟一班(理论上) - 随机现象: 实际等车时间可能是 5 分钟、12 分钟、8 分钟...

问题: 如何数学化描述"等车时间"这个随机现象?

答案: 用**随机变量**!

随机变量的直观理解

定义(通俗版):

随机变量是一个"机器",每次运行时输出一个数,输出什么数事先不确定,但每个数出现的可能性(概率)是确定的。

例子 1-1:掷骰子

1
2
3
4
随机变量 X = "掷骰子的点数"

可能的输出:1, 2, 3, 4, 5, 6
每个输出的概率:1/6

例子 1-2:等公交车

1
2
3
4
随机变量 T = "等车时间(分钟)"

可能的输出:0 到 20 之间的任意实数
概率分布:大部分在 8-12 分钟,极少数<5 或>15 分钟

数学定义

定义 1-1(随机变量):

随机变量 \(X\) 是从**样本空间** \(\Omega\) 到**实数** \(\mathbb{R}\) 的映射:

\[X: \Omega \rightarrow \mathbb{R}\]

详细解释:

术语 含义 例子(掷骰子)
样本空间 \(\Omega\) 所有可能结果的集合 {正面,反面} 或
随机变量 \(X\) 给每个结果赋予一个数值 \(X(\text{正面})=1\), \(X(\text{反面})=0\)
取值范围 \(X\) 可能输出的所有数值 {0, 1}

关键理解: - 随机变量本身不是"变量",而是一个**函数** - 它的输入是随机实验的结果 - 它的输出是一个实数


📊 概率分布

问题:如何描述随机变量的统计特性?

知道了 \(X\) 是随机变量还不够,我们需要知道: - \(X\) 可能取哪些值? - 每个值出现的可能性多大?

答案: 用**概率分布**描述!

离散随机变量的概率质量函数 (PMF)

定义 1-2(PMF):

对于离散随机变量 \(X\),其概率质量函数为:

\[P_X(x) = P(X = x)\]

性质: 1. \(0 \leq P_X(x) \leq 1\)(概率在 0 到 1 之间) 2. \(\sum_{x} P_X(x) = 1\)(所有可能性的概率和为 1)

例子 1-3:掷骰子的 PMF

\[P_X(x) = \begin{cases} \frac{1}{6} & x = 1, 2, 3, 4, 5, 6 \\ 0 & \text{其他} \end{cases}\]

验证性质 2: \(\(\sum_{x=1}^{6} P_X(x) = \frac{1}{6} + \frac{1}{6} + \frac{1}{6} + \frac{1}{6} + \frac{1}{6} + \frac{1}{6} = 1 \quad \checkmark\)\)

连续随机变量的概率密度函数 (PDF)

关键区别: - 离散随机变量:取有限个或可数个值(如骰子点数) - 连续随机变量:可以取某个区间内的任意值(如等车时间)

问题: 对于连续随机变量,\(P(X = x)\) 是多少?

答案: 是 0!因为连续变量取某个**精确值**的概率是 0。

例子 1-4:

问:等车时间恰好是 10.000000...分钟的概率是多少?
答:0!因为可能是 10.000001 或 9.999999...

解决方案: 用**概率密度函数 (PDF)** 描述

定义 1-3(PDF):

连续随机变量 \(X\) 的概率密度函数 \(f_X(x)\) 满足:

\[P(a \leq X \leq b) = \int_{a}^{b} f_X(x) dx\]

物理解释: - \(f_X(x)\) 本身不是概率! - \(f_X(x) dx\)\(X\) 落在区间 \([x, x+dx]\) 的概率 - PDF 曲线下的**面积**才是概率

性质: 1. \(f_X(x) \geq 0\)(密度非负) 2. \(\int_{-\infty}^{\infty} f_X(x) dx = 1\)(总面积为 1)


📡 通信中的关键分布

在 4G/5G 中,以下分布极其重要:

1. 高斯分布(正态分布)⭐⭐⭐

PDF: \(\(f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)\)

参数: - \(\mu\):均值(分布的中心位置) - \(\sigma^2\):方差(分布的分散程度) - \(\sigma\):标准差

记号: \(X \sim \mathcal{N}(\mu, \sigma^2)\)

图形特征: 钟形曲线,关于 \(x=\mu\) 对称

通信应用: - **热噪声**服从高斯分布 - 多个独立随机变量之和趋近高斯分布(中心极限定理)

例子 1-5:噪声电压

1
2
3
4
5
6
7
8
假设热噪声电压 V ~ N(0, 0.01)(单位:伏特)

参数:
- μ = 0V(平均电压为 0)
- σ² = 0.01,所以 σ = 0.1V

问:噪声电压在 -0.1V 到 +0.1V 之间的概率?
答:约 68%(高斯分布的性质:±1σ范围内概率为 68%)

2. 复高斯分布 ⭐⭐⭐

为什么需要复高斯?

在通信中,信号用**复数**表示(同相分量 I + 正交分量 Q):

\[s = s_I + j s_Q\]

定义 1-4(复高斯随机变量):

复随机变量 \(Z = X + jY\) 服从复高斯分布,如果: - \(X\)\(Y\) 是独立的实高斯随机变量 - \(X \sim \mathcal{N}(\mu_X, \sigma^2/2)\) - \(Y \sim \mathcal{N}(\mu_Y, \sigma^2/2)\)

PDF: \(\(f_Z(z) = \frac{1}{\pi\sigma^2} e^{-\frac{|z-\mu|^2}{\sigma^2}}\)\)

记号: \(Z \sim \mathcal{CN}(\mu, \sigma^2)\)

关键性质: - \(E[Z] = \mu\) - \(\text{Var}(Z) = E[|Z-\mu|^2] = \sigma^2\) - \(|Z|^2\) 服从指数分布(当 \(\mu=0\) 时)

通信应用: - **复基带噪声**服从复高斯分布 - **衰落信道**的复增益常用复高斯建模


3. 瑞利分布

场景: 当复高斯随机变量的均值为 0 时,其**幅度**服从瑞利分布

推导:

\(Z = X + jY \sim \mathcal{CN}(0, \sigma^2)\),其中 \(X, Y \sim \mathcal{N}(0, \sigma^2/2)\)

幅度 \(R = |Z| = \sqrt{X^2 + Y^2}\)

R 的 PDF(瑞利分布): \(\(f_R(r) = \frac{r}{\sigma^2} e^{-\frac{r^2}{2\sigma^2}}, \quad r \geq 0\)\)

通信应用: - 无直射路径 (NLOS) 时的信道幅度 - 城市环境中,手机接收到的信号幅度

直观理解:

1
2
3
4
多径传播 → 多个反射波叠加 → 复信道增益 Z
Z 是复高斯 → 幅度 |Z| 是瑞利分布

物理意义:大部分时间信号幅度较小,偶尔出现较大值


4. 莱斯分布

场景: 当存在直射路径 (LOS) 时,信道幅度服从莱斯分布

PDF: \(\(f_R(r) = \frac{r}{\sigma^2} e^{-\frac{r^2+A^2}{2\sigma^2}} I_0\left(\frac{rA}{\sigma^2}\right), \quad r \geq 0\)\)

参数: - \(A\):直射路径的幅度 - \(\sigma^2\):多径分量的功率 - \(I_0(\cdot)\):修正贝塞尔函数(不用深究,知道是特殊函数即可)

与瑞利的关系: - 当 \(A = 0\)(无直射)时,莱斯分布退化为瑞利分布 - 当 \(A\) 很大时,分布趋近高斯分布


📝 数值例子

例子 1-6:比较不同分布

假设接收信号模型:\(y = h x + n\)

场景 1:AWGN 信道(只有噪声)

1
2
3
4
h = 1(确定值)
n ~ CN(0, 0.1)

y 的分布:CN(x, 0.1)(复高斯)

场景 2:瑞利衰落信道

1
2
3
4
5
6
7
h ~ CN(0, 1)(瑞利衰落)
n ~ CN(0, 0.1)
x = 1(发送信号)

y = h + n

y 的分布:CN(0, 1.1)(仍是复高斯,但方差更大)

场景 3:莱斯衰落信道

1
2
3
4
5
6
7
h ~ CN(2, 1)(有直射分量,均值为 2)
n ~ CN(0, 0.1)
x = 1

y = 2h + n

y 的分布:CN(2, 1.1)(复高斯,均值非零)


⚠️ 常见误区

误区 1: "概率密度 \(f_X(x)\)\(X=x\) 的概率"

纠正: 对于连续随机变量,\(P(X=x) = 0\)!PDF 的值可以大于 1,它不是概率。

验证: 均匀分布 \(U[0, 0.5]\) 的 PDF 是 \(f(x) = 2\)(在区间内),但概率不可能大于 1。

正确理解: \(f_X(x) dx\) 是概率,\(f_X(x)\) 是"概率密度"。


误区 2: "高斯分布可以描述所有随机现象"

纠正: 高斯分布适用条件是: - 大量独立随机因素叠加 - 没有主导因素

反例: - 信道幅度(瑞利或莱斯分布) - 突发噪声(脉冲分布) - 量化误差(均匀分布)


✏️ 练习题

基础题 1-1:

掷一个公平骰子,定义随机变量 \(X\) 为点数。

  1. 写出 \(X\) 的 PMF
  2. 计算 \(P(X \geq 4)\)
  3. 计算 \(P(X \text{是偶数})\)

答案:

1
2
3
4
5
1. P_X(x) = 1/6, x = 1,2,3,4,5,6

2. P(X ≥ 4) = P(X=4) + P(X=5) + P(X=6) = 1/6 + 1/6 + 1/6 = 1/2

3. P(X 是偶数) = P(X=2) + P(X=4) + P(X=6) = 3/6 = 1/2


基础题 1-2:

噪声 \(n \sim \mathcal{N}(0, \sigma^2)\),其中 \(\sigma = 0.1\)

  1. 写出 \(n\) 的 PDF
  2. \(n\) 落在 \([-0.1, 0.1]\) 的概率约为多少?(提示:用高斯分布的性质)

答案:

1
2
3
4
5
1. f_n(x) = (1/(√(2π)·0.1)) · exp(-x²/(2·0.01))

2. [-0.1, 0.1] = [-σ, +σ]
   高斯分布性质:±1σ范围内概率 ≈ 68%
   所以答案约为 0.68


进阶题 1-3:

接收信号 \(y = h + n\),其中: - \(h \sim \mathcal{CN}(0, 1)\)(瑞利衰落信道) - \(n \sim \mathcal{CN}(0, 0.1)\)(噪声) - \(h\)\(n\) 独立

  1. \(y\) 服从什么分布?
  2. \(|y|\) 服从什么分布?
  3. 计算 \(E[|y|^2]\)

提示:

1
2
3
1. 独立复高斯变量之和仍是复高斯
2. 复高斯的幅度是瑞利分布
3. 用期望的线性性质

答案:

1
2
3
4
5
1. y ~ CN(0, 1.1)(均值相加,方差相加)

2. |y| 服从瑞利分布,参数 σ² = 1.1

3. E[|y|²] = Var(y) + |E[y]|² = 1.1 + 0 = 1.1


1.2 数学期望 ⭐⭐⭐

🎯 基础概念

什么是期望?

直观理解:

期望是随机变量的"平均值"或"重心"。

例子 1-7:班级平均身高

班级有 30 个学生:
- 10 个人身高 160cm
- 15 个人身高 170cm
- 5 个人身高 180cm

平均身高 = (10×160 + 15×170 + 5×180) / 30 = 168.3cm

如果用概率描述:
P(160) = 10/30 = 1/3
P(170) = 15/30 = 1/2
P(180) = 5/30 = 1/6

期望身高 E[H] = 160×(1/3) + 170×(1/2) + 180×(1/6) = 168.3cm

关键理解: 期望是**加权平均**,权重是概率。


📐 数学定义

定义 1-5(数学期望):

离散随机变量: \(\(E[X] = \sum_{i} x_i \cdot P(X = x_i)\)\)

连续随机变量: \(\(E[X] = \int_{-\infty}^{\infty} x \cdot f_X(x) dx\)\)

其他记号: \(E[X]\) 也记作 \(\mu_X\)\(\bar{X}\)


🔧 期望的核心性质

性质 1:线性性 ⭐⭐⭐(最重要!)

\[E[aX + bY] = aE[X] + bE[Y]\]

其中 \(a, b\) 是常数。

详细推导(离散情况):

\[\begin{aligned} E[aX + bY] &= \sum_{x,y} (ax + by) \cdot P(X=x, Y=y) \\ &= \sum_{x,y} ax \cdot P(X=x, Y=y) + \sum_{x,y} by \cdot P(X=x, Y=y) \\ &= a \sum_{x} x \cdot \underbrace{\sum_{y} P(X=x, Y=y)}_{P(X=x)} + b \sum_{y} y \cdot \underbrace{\sum_{x} P(X=x, Y=y)}_{P(Y=y)} \\ &= a \sum_{x} x \cdot P(X=x) + b \sum_{y} y \cdot P(Y=y) \\ &= aE[X] + bE[Y] \quad \checkmark \end{aligned}\]

关键理解: - 期望运算可以"穿过"加法和数乘 - 不需要 \(X\)\(Y\) 独立! - 这是期望最重要的性质,后续推导大量使用

例子 1-8:接收信号期望

接收信号模型:\(y = hx + n\)

其中: - \(x\) 是发送信号(确定值,如 \(x=1\)) - \(h\) 是信道增益(随机变量,\(E[h]=0\)) - \(n\) 是噪声(随机变量,\(E[n]=0\)

计算 \(E[y]\)

\[\begin{aligned} E[y] &= E[hx + n] \\ &= E[hx] + E[n] \quad \text{(线性性)} \\ &= xE[h] + 0 \quad \text{(x 是常数,可提出)} \\ &= x \cdot 0 + 0 \\ &= 0 \end{aligned}\]

物理解释: 虽然瞬时接收信号 \(y\) 随机波动,但长期平均为 0。


性质 2:独立性

\(X\)\(Y\) 独立,则: \(\(E[XY] = E[X]E[Y]\)\)

注意: 这个性质**仅在独立时成立**!

反例: \(X\) 是掷骰子结果,\(Y = X^2\)

显然 \(X\)\(Y\) 不独立(\(Y\) 完全由 \(X\) 决定)。

\[E[X] = 3.5, \quad E[Y] = E[X^2] = \frac{1^2+2^2+3^2+4^2+5^2+6^2}{6} = 15.17$$ $$E[XY] = E[X^3] = \frac{1^3+2^3+3^3+4^3+5^3+6^3}{6} = 73.5$$ $$E[X]E[Y] = 3.5 \times 15.17 = 53.1 \neq 73.5\]

性质 3:函数的期望(LOTUS 定理)

\(Y = g(X)\),则: \(\(E[Y] = E[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x) dx\)\)

关键理解: 不需要先求 \(Y\) 的分布,直接用 \(X\) 的分布计算!

例子 1-9:信号功率

接收信号 \(y\),其功率定义为 \(P = |y|^2\)

\(y \sim \mathcal{CN}(0, \sigma^2)\),求 \(E[P]\)

解法 1(直接用定义): \(\(E[P] = E[|y|^2] = \text{Var}(y) + |E[y]|^2 = \sigma^2 + 0 = \sigma^2\)\)

解法 2(用 LOTUS): \(\(E[|y|^2] = \int_{-\infty}^{\infty} |y|^2 \cdot \frac{1}{\pi\sigma^2} e^{-\frac{|y|^2}{\sigma^2}} dy = \sigma^2\)\)


性质 4:全期望公式

\[E[X] = E[E[X|Y]]\]

解释: 先对 \(Y\) 的每个取值计算条件期望 \(E[X|Y=y]\),再对 \(Y\) 求期望。

例子 1-10:两阶段实验

阶段 1:掷硬币决定用哪个骰子
- 正面:用公平骰子(期望 3.5)
- 反面:用 biased 骰子(期望 4.5)

阶段 2:掷选中的骰子

问:最终点数的期望?

解:
令 Y = 硬币结果(正面/反面)
令 X = 骰子点数

E[X|正面] = 3.5
E[X|反面] = 4.5

E[X] = E[E[X|Y]] = 3.5 × P(正面) + 4.5 × P(反面) = 3.5 × 0.5 + 4.5 × 0.5 = 4

📡 通信中的应用

应用 1:接收信号模型

模型: \(\(y = hx + n\)\)

其中: - \(x\):发送符号(如 QPSK 星座点) - \(h\):信道增益(随机变量) - \(n\):加性噪声,\(n \sim \mathcal{CN}(0, \sigma^2)\)

计算接收信号的期望:

\[\begin{aligned} E[y] &= E[hx + n] \\ &= xE[h] + E[n] \\ &= xE[h] + 0 \end{aligned}\]

情况 1:已知信道 \(h\)(确定值) \(\(E[y] = hx\)\)

情况 2:瑞利衰落 \(h \sim \mathcal{CN}(0, 1)\) \(\(E[y] = x \cdot 0 = 0\)\)

物理意义: 在瑞利衰落信道中,接收信号的长期平均为 0(相位随机)。


应用 2:噪声功率

定义: 噪声功率 = \(E[|n|^2]\)

对于 \(n \sim \mathcal{CN}(0, \sigma^2)\)

\[\begin{aligned} E[|n|^2] &= \text{Var}(n) + |E[n]|^2 \quad \text{(方差定义)} \\ &= \sigma^2 + 0 \\ &= \sigma^2 \end{aligned}\]

关键公式: \(\(\boxed{\text{噪声功率} = \sigma^2}\)\)


应用 3:信噪比 (SNR)

定义: \(\(\text{SNR} = \frac{\text{信号功率}}{\text{噪声功率}} = \frac{E[|hx|^2]}{E[|n|^2]}\)\)

假设: - \(x\) 是单位功率符号,\(E[|x|^2] = 1\) - \(h\) 是确定值(或已知) - \(n \sim \mathcal{CN}(0, \sigma^2)\)

计算: \(\(\text{SNR} = \frac{|h|^2 E[|x|^2]}{\sigma^2} = \frac{|h|^2}{\sigma^2}\)\)

分贝表示: \(\(\text{SNR}_{\text{dB}} = 10 \log_{10}\left(\frac{|h|^2}{\sigma^2}\right)\)\)

例子 1-11:SNR 计算

1
2
3
4
5
6
假设:
- |h| = 0.5(信道增益)
- σ² = 0.01(噪声方差)

SNR = |h|²/σ² = 0.25/0.01 = 25(线性)
SNR_dB = 10 log₁₀(25) ≈ 14 dB

⚠️ 常见误区

误区 1: "\(E[X^2] = (E[X])^2\)"

纠正: 一般不相等!

反例: \(X \sim \mathcal{N}(0, 1)\)

\[E[X] = 0 \Rightarrow (E[X])^2 = 0$$ $$E[X^2] = \text{Var}(X) + (E[X])^2 = 1 + 0 = 1\]

正确关系: \(\(E[X^2] = \text{Var}(X) + (E[X])^2\)\)


误区 2: "期望就是最可能的值"

纠正: 期望是平均值,不是众数(最可能值)。

反例: 某随机变量 \(X\): - \(P(X=0) = 0.9\) - \(P(X=100) = 0.1\)

\[E[X] = 0 \times 0.9 + 100 \times 0.1 = 10\]

\(X=100\) 的概率只有 10%,最可能的值是 0。


✏️ 练习题

基础题 1-4:

随机变量 \(X\) 的分布如下: - \(P(X=1) = 0.2\) - \(P(X=2) = 0.5\) - \(P(X=3) = 0.3\)

  1. 计算 \(E[X]\)
  2. 计算 \(E[2X + 1]\)
  3. 计算 \(E[X^2]\)

答案:

1
2
3
4
5
6
1. E[X] = 1×0.2 + 2×0.5 + 3×0.3 = 0.2 + 1.0 + 0.9 = 2.1

2. E[2X+1] = 2E[X] + 1 = 2×2.1 + 1 = 5.2
   (或:E[2X+1] = 3×0.2 + 5×0.5 + 7×0.3 = 0.6+2.5+2.1 = 5.2)✓

3. E[X²] = 1²×0.2 + 2²×0.5 + 3²×0.3 = 0.2 + 2.0 + 2.7 = 4.9


进阶题 1-5:

接收信号 \(y = hx + n\),其中: - \(x = 1 + j\)(QPSK 符号) - \(h \sim \mathcal{CN}(0, 1)\) - \(n \sim \mathcal{CN}(0, 0.1)\) - \(h\)\(n\) 独立

  1. 计算 \(E[y]\)
  2. 计算 \(E[|y|^2]\)(提示:用 \(E[|y|^2] = \text{Var}(y) + |E[y]|^2\)

答案:

1. E[y] = E[hx + n] = xE[h] + E[n] = (1+j)×0 + 0 = 0

2. 先求 Var(y):
   Var(y) = Var(hx + n)
          = Var(hx) + Var(n)  (h 和 n 独立)
          = |x|²Var(h) + σ²
          = |1+j|² × 1 + 0.1
          = 2 × 1 + 0.1 = 2.1

   E[|y|²] = Var(y) + |E[y]|² = 2.1 + 0 = 2.1


1.3 方差与协方差 ⭐⭐⭐

🎯 基础概念

为什么要引入方差?

问题: 两个随机变量可能有相同的期望,但分布完全不同。

例子 1-12:两个班级的成绩

1
2
3
4
5
6
班级 A:所有学生都是 80 分
班级 B:一半学生 60 分,一半学生 100 分

两个班级的平均分都是 80 分,但:
- 班级 A:成绩稳定
- 班级 B:成绩波动大

如何量化"波动程度"?

答案: 用**方差**!


📐 方差定义

定义 1-6(方差):

\[\text{Var}(X) = E[(X - E[X])^2]\]

解释: 方差是"与期望的偏差的平方的期望"。

其他记号: \(\text{Var}(X)\) 也记作 \(\sigma_X^2\)\(D(X)\)

标准差: \(\sigma_X = \sqrt{\text{Var}(X)}\)


方差的计算公式 ⭐

重要公式: \(\(\boxed{\text{Var}(X) = E[X^2] - (E[X])^2}\)\)

推导:

\[\begin{aligned} \text{Var}(X) &= E[(X - E[X])^2] \\ &= E[X^2 - 2X E[X] + (E[X])^2] \\ &= E[X^2] - 2E[X]E[X] + (E[X])^2 \quad \text{(期望线性性)} \\ &= E[X^2] - 2(E[X])^2 + (E[X])^2 \\ &= E[X^2] - (E[X])^2 \quad \checkmark \end{aligned}\]

记忆技巧: "平方的期望 减去 期望的平方"


方差的性质

性质 1:常数的方差为 0 \(\(\text{Var}(c) = 0\)\)

性质 2:常数倍的方差 \(\(\text{Var}(aX) = a^2 \text{Var}(X)\)\)

推导: \(\(\begin{aligned} \text{Var}(aX) &= E[(aX)^2] - (E[aX])^2 \\ &= a^2 E[X^2] - (aE[X])^2 \\ &= a^2 E[X^2] - a^2 (E[X])^2 \\ &= a^2 (E[X^2] - (E[X])^2) \\ &= a^2 \text{Var}(X) \quad \checkmark \end{aligned}\)\)

性质 3:平移不改变方差 \(\(\text{Var}(X + b) = \text{Var}(X)\)\)

直观理解: 整体平移不改变波动程度。

性质 4:独立变量的和的方差

\(X\)\(Y\) 独立: \(\(\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)\)\)

注意: 仅当独立时成立!


📊 协方差

问题:如何衡量两个随机变量的相关性?

例子 1-13:

1
2
3
4
5
6
变量 X:每天的温度
变量 Y:每天的冰淇淋销量

直观上,X 和 Y 正相关(温度越高,销量越大)

如何数学化描述这种"相关性"?

答案: 用**协方差**!


定义 1-7(协方差):

\[\text{Cov}(X, Y) = E[(X - E[X])(Y - E[Y])]\]

展开式: \(\(\boxed{\text{Cov}(X, Y) = E[XY] - E[X]E[Y]}\)\)

推导: \(\(\begin{aligned} \text{Cov}(X, Y) &= E[(X - E[X])(Y - E[Y])] \\ &= E[XY - X E[Y] - E[X] Y + E[X]E[Y]] \\ &= E[XY] - E[X]E[Y] - E[X]E[Y] + E[X]E[Y] \\ &= E[XY] - E[X]E[Y] \quad \checkmark \end{aligned}\)\)


协方差的解释

Cov 值 含义 例子
\(\text{Cov}(X,Y) > 0\) 正相关 温度和冰淇淋销量
\(\text{Cov}(X,Y) < 0\) 负相关 温度和热咖啡销量
\(\text{Cov}(X,Y) = 0\) 不相关 温度和股票价格(可能)

关键理解: - 协方差衡量**线性相关**程度 - Cov = 0 不一定独立(可能有非线性关系) - 独立一定 Cov = 0


相关系数

问题: 协方差的大小依赖于 \(X\)\(Y\) 的量纲,如何标准化?

答案: 用**相关系数**!

定义 1-8(相关系数):

\[\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}}\]

性质: \(\(-1 \leq \rho_{XY} \leq 1\)\)

解释: - \(\rho = 1\):完全正线性相关 - \(\rho = -1\):完全负线性相关 - \(\rho = 0\):无线性相关


📡 在信道估计中的关键应用 ⭐⭐⭐

信道向量与自相关矩阵

场景: OFDM 系统有 \(N\) 个子载波,每个子载波的信道增益为 \(h_k\)

信道向量: \(\(\mathbf{h} = [h_0, h_1, ..., h_{N-1}]^T \in \mathbb{C}^N\)\)

问题: 如何描述不同子载波信道之间的相关性?

答案: 用**自相关矩阵**!


定义 1-9(自相关矩阵):

\[R_{hh} = E[\mathbf{h}\mathbf{h}^H]\]

维度: \(N \times N\) 矩阵

展开: \(\(R_{hh} = \begin{bmatrix} E[h_0 h_0^*] & E[h_0 h_1^*] & \cdots & E[h_0 h_{N-1}^*] \\ E[h_1 h_0^*] & E[h_1 h_1^*] & \cdots & E[h_1 h_{N-1}^*] \\ \vdots & \vdots & \ddots & \vdots \\ E[h_{N-1} h_0^*] & E[h_{N-1} h_1^*] & \cdots & E[h_{N-1} h_{N-1}^*] \end{bmatrix}\)\)

元素含义: \(\([R_{hh}]_{ij} = E[h_i h_j^*]\)\)


关键推导:当信道零均值时

假设: \(E[h_k] = 0\) 对所有 \(k\)(瑞利衰落的典型假设)

协方差定义: \(\(\text{Cov}(h_i, h_j) = E[h_i h_j^*] - E[h_i]E[h_j^*]\)\)

代入 \(E[h] = 0\) \(\(\text{Cov}(h_i, h_j) = E[h_i h_j^*] - 0 = E[h_i h_j^*]\)\)

结论: \(\(\boxed{[R_{hh}]_{ij} = \text{Cov}(h_i, h_j) \quad \text{(当 E[h]=0 时)}}\)\)

物理意义: 自相关矩阵的元素就是信道系数之间的协方差!


对角元素 vs 非对角元素

对角元素 (\(i=j\)): \(\([R_{hh}]_{ii} = E[|h_i|^2] = \text{Var}(h_i) + |E[h_i]|^2 = \sigma_h^2\)\)

解释: 对角元素是每个子载波信道的**平均功率**。

非对角元素 (\(i \neq j\)): \(\([R_{hh}]_{ij} = E[h_i h_j^*] = \text{Cov}(h_i, h_j)\)\)

解释: 非对角元素描述不同子载波信道之间的**相关性**。


典型模型:指数相关

假设: 相邻子载波的信道相关性最强,随着频率间隔增大,相关性指数衰减。

模型: \(\([R_{hh}]_{ij} = \sigma_h^2 \rho^{|i-j|}\)\)

其中: - \(\sigma_h^2\):信道功率 - \(\rho\):相关系数 (\(0 \leq \rho \leq 1\)) - \(|i-j|\):子载波间隔

矩阵形式: \(\(R_{hh} = \sigma_h^2 \begin{bmatrix} 1 & \rho & \rho^2 & \rho^3 & \cdots \\ \rho^* & 1 & \rho & \rho^2 & \cdots \\ \rho^{*2} & \rho^* & 1 & \rho & \cdots \\ \rho^{*3} & \rho^{*2} & \rho^* & 1 & \cdots \\ \vdots & \vdots & \vdots & \vdots & \ddots \end{bmatrix}\)\)

特殊结构: Toeplitz 矩阵(每条对角线上的元素相同)


📝 数值例子

例子 1-14:2 子载波系统

假设 \(N=2\) 个子载波,\(\sigma_h^2 = 1\)\(\rho = 0.5\)

自相关矩阵: \(\(R_{hh} = \begin{bmatrix} 1 & 0.5 \\ 0.5 & 1 \end{bmatrix}\)\)

解释: - 对角元素 = 1:每个子载波的信道功率为 1 - 非对角元素 = 0.5:两个子载波的信道中度正相关

\(\rho = 0\)(完全不相关): \(\(R_{hh} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = I \quad \text{(单位矩阵)}\)\)

\(\rho = 1\)(完全相关): \(\(R_{hh} = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}\)\)

此时矩阵奇异(行列式为 0),两个子载波的信道完全相同。


⚠️ 常见误区

误区 1: "方差可以是负数"

纠正: 方差是平方的期望,永远非负!

\[\text{Var}(X) = E[(X-E[X])^2] \geq 0\]

若计算得到负方差,一定是计算错误。


误区 2: "Cov(X,Y) = 0 意味着 X 和 Y 独立"

纠正: 恰恰相反!独立 ⇒ Cov=0,但 Cov=0 ⇏ 独立。

反例: \(X \sim \mathcal{N}(0, 1)\)\(Y = X^2\)

\[\text{Cov}(X, Y) = E[XY] - E[X]E[Y] = E[X^3] - 0 = 0\]

(因为标准正态分布的奇数阶矩为 0)

但显然 \(Y\) 完全由 \(X\) 决定,不独立!

正确理解: Cov=0 只说明没有**线性**相关性,可能有非线性关系。


误区 3: "相关系数 ρ=0 意味着两个变量无关"

纠正: ρ=0 只说明没有线性相关性。

例子: \(Y = X^2\)\(X \sim U[-1, 1]\)

\[\rho_{XY} = 0 \quad \text{(因为对称性)}\]

\(Y\) 完全由 \(X\) 决定!


✏️ 练习题

基础题 1-6:

随机变量 \(X\) 的分布如下: - \(P(X=0) = 0.5\) - \(P(X=1) = 0.3\) - \(P(X=2) = 0.2\)

  1. 计算 \(E[X]\)
  2. 计算 \(E[X^2]\)
  3. 计算 \(\text{Var}(X)\)
  4. 计算标准差 \(\sigma_X\)

答案:

1
2
3
4
5
6
7
1. E[X] = 0×0.5 + 1×0.3 + 2×0.2 = 0 + 0.3 + 0.4 = 0.7

2. E[X²] = 0²×0.5 + 1²×0.3 + 2²×0.2 = 0 + 0.3 + 0.8 = 1.1

3. Var(X) = E[X²] - (E[X])² = 1.1 - 0.7² = 1.1 - 0.49 = 0.61

4. σ_X = √0.61 ≈ 0.78


基础题 1-7:

已知 \(\text{Var}(X) = 4\),计算: 1. \(\text{Var}(3X)\) 2. \(\text{Var}(3X + 5)\) 3. \(\text{Var}(-2X + 1)\)

答案:

1
2
3
4
5
1. Var(3X) = 3² × Var(X) = 9 × 4 = 36

2. Var(3X+5) = Var(3X) = 36(平移不改变方差)

3. Var(-2X+1) = (-2)² × Var(X) = 4 × 4 = 16


进阶题 1-8:

接收信号 \(y = h + n\),其中: - \(h \sim \mathcal{CN}(0, 1)\)(信道) - \(n \sim \mathcal{CN}(0, 0.1)\)(噪声) - \(h\)\(n\) 独立

  1. 计算 \(\text{Var}(y)\)
  2. 计算 \(y\) 的自相关 \(E[|y|^2]\)
  3. 若定义信噪比 \(\text{SNR} = \frac{\text{信号功率}}{\text{噪声功率}}\),计算 SNR

答案:

1
2
3
4
5
6
7
1. Var(y) = Var(h + n) = Var(h) + Var(n) = 1 + 0.1 = 1.1

2. E[|y|²] = Var(y) + |E[y]|² = 1.1 + 0 = 1.1

3. 信号功率 = E[|h|²] = 1
   噪声功率 = E[|n|²] = 0.1
   SNR = 1/0.1 = 10(线性)= 10 dB


进阶题 1-9:

信道向量 \(\mathbf{h} = [h_0, h_1]^T\),自相关矩阵为: \(\(R_{hh} = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}\)\)

  1. 每个子载波的信道功率是多少?
  2. 两个子载波的相关系数是多少?
  3. \(h_0\)\(h_1\) 独立,\(R_{hh}\) 应该是什么形式?

答案:

1
2
3
4
5
6
7
1. 信道功率 = 对角元素 = 2

2. 相关系数 ρ = Cov(h₀,h₁)/√(Var(h₀)Var(h₁))
             = 1/√(2×2) = 1/2 = 0.5

3. 若独立,则非对角元素为 0:
   R_{hh} = [[2, 0], [0, 2]] = 2I


📌 本章小结

关键公式速查

概念 公式
期望(离散) \(E[X] = \sum x_i P(X=x_i)\)
期望(连续) \(E[X] = \int x f_X(x) dx\)
期望线性性 \(E[aX+bY] = aE[X] + bE[Y]\)
方差 \(\text{Var}(X) = E[X^2] - (E[X])^2\)
协方差 \(\text{Cov}(X,Y) = E[XY] - E[X]E[Y]\)
相关系数 \(\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}}\)
自相关矩阵 \(R_{hh} = E[\mathbf{h}\mathbf{h}^H]\)

重要分布

分布 PDF 应用
高斯 \(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\) 噪声
复高斯 $\frac{1}{\pi\sigma2}e{-\frac{ z-\mu
瑞利 \(\frac{r}{\sigma^2}e^{-\frac{r^2}{2\sigma^2}}\) NLOS 信道幅度
莱斯 \(\frac{r}{\sigma^2}e^{-\frac{r^2+A^2}{2\sigma^2}}I_0(\frac{rA}{\sigma^2})\) LOS 信道幅度

与后续章节的联系

  • 第 2 章(随机过程): 将随机变量推广到时间序列
  • 第 4 章(估计理论): 用期望和方差评价估计量性能
  • 第 7 章(信道建模): 用自相关矩阵描述信道统计特性
  • 第 9 章(信道估计): LMMSE 估计依赖 \(R_{hh}\)

🎓 本章完成检查

在完成第 2 章之前,确保你能:

  • 解释随机变量、PDF、PMF 的区别
  • 计算离散和连续随机变量的期望
  • 使用期望的线性性质
  • 推导方差公式 \(\text{Var}(X) = E[X^2] - (E[X])^2\)
  • 解释协方差的物理意义
  • 写出复高斯分布的 PDF
  • 说明瑞利分布和莱斯分布的应用场景
  • 计算 2×2 自相关矩阵的元素

全部掌握? → 继续学习 第 2 章 随机过程

还有疑问? → 重读本章节,或做更多练习题


第 1 章 结束