1.1 协方差矩阵的基本性质

给定： $X = \begin{bmatrix} X_1 \\ X_2 \end{bmatrix} \sim N_2(\mu, \Sigma)$

其中：

注记：$\Sigma > 0$ 表示 $\Sigma$ 是正定矩阵。

1.2 计算协方差矩阵的行列式

$|\Sigma| = \det(\Sigma) = \begin{vmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{vmatrix} = \sigma_1^2 \cdot \sigma_2^2 - (\rho\sigma_1\sigma_2)^2 = \sigma_1^2\sigma_2^2(1 - \rho^2)$

由于 $\Sigma > 0$（正定），故 $|\Sigma| > 0$，即： $\sigma_1^2\sigma_2^2(1 - \rho^2) > 0 \implies 1 - \rho^2 > 0 \implies |\rho| < 1$

1.3 计算协方差矩阵的逆矩阵

对于 $2 \times 2$ 矩阵 $A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$，其逆矩阵为： $A^{-1} = \frac{1}{ad - bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix}$

伴随矩阵求逆

应用到 $\Sigma$ 上： $\Sigma^{-1} = \frac{1}{|\Sigma|} \begin{bmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{bmatrix} = \frac{1}{\sigma_1^2\sigma_2^2(1 - \rho^2)} \begin{bmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{bmatrix}$

化简得： $\Sigma^{-1} = \frac{1}{1 - \rho^2} \begin{bmatrix} \frac{1}{\sigma_1^2} & -\frac{\rho}{\sigma_1\sigma_2} \\ -\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^2} \end{bmatrix}$

1.4 二次型的展开

令 $x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$，则： $x - \mu = \begin{bmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{bmatrix}$

计算二次型 $(x - \mu)'\Sigma^{-1}(x - \mu)$：

1.5 联合密度函数

根据多元正态分布的密度函数公式： $f(x) = \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left[-\frac{1}{2}(x - \mu)'\Sigma^{-1}(x - \mu)\right]$

对于 $p = 2$，有： $(2\pi)^{p/2} = (2\pi)^{2/2} = 2\pi$ $|\Sigma|^{1/2} = \sqrt{\sigma_1^2\sigma_2^2(1 - \rho^2)} = \sigma_1\sigma_2\sqrt{1 - \rho^2}$

因此，联合密度函数为： $f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \exp\left[-\frac{1}{2(1 - \rho^2)}\left(\frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2}\right)\right]$

2.1 $X_1$ 的边缘密度函数

边缘密度函数 $f_{X_1}(x_1)$ 通过对 $x_2$ 积分得到： $f_{X_1}(x_1) = \int_{-\infty}^{+\infty} f(x_1, x_2) dx_2$

将联合密度函数代入： $f_{X_1}(x_1) = \int_{-\infty}^{+\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \exp\left[-\frac{1}{2(1 - \rho^2)}\left(\frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2}\right)\right] dx_2$

2.2 完成平方

将指数中的表达式关于 $x_2$ 完成平方：

令 $A = \frac{1}{2(1 - \rho^2)}$，则指数部分为：

2.3 积分计算

代入 $A = \frac{1}{2(1 - \rho^2)}$：

令 $y = (x_2 - \mu_2) - \rho\frac{\sigma_2(x_1 - \mu_1)}{\sigma_1}$，则 $dy = dx_2$，积分变为： $\int_{-\infty}^{+\infty} \exp\left[-\frac{y^2}{2(1 - \rho^2)\sigma_2^2}\right] dy$

这是一个高斯积分，其值为： $\int_{-\infty}^{+\infty} e^{-y^2/(2\sigma^2)} dy = \sigma\sqrt{2\pi}$

这里 $\sigma^2 = (1 - \rho^2)\sigma_2^2$，所以： $\int_{-\infty}^{+\infty} \exp\left[-\frac{y^2}{2(1 - \rho^2)\sigma_2^2}\right] dy = \sigma_2\sqrt{2\pi(1 - \rho^2)}$

2.4 最终结果

代入得：

因此，$X_1$ 的边缘密度函数为： $f_{X_1}(x_1) = \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^2}\right]$

即 $X_1 \sim N(\mu_1, \sigma_1^2)$。

2.5 $X_2$ 的边缘密度函数

同理，$X_2$ 的边缘密度函数为： $f_{X_2}(x_2) = \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[-\frac{(x_2 - \mu_2)^2}{2\sigma_2^2}\right]$

即 $X_2 \sim N(\mu_2, \sigma_2^2)$。

3.1 相关系数的定义

相关系数 $\rho$ 定义为： $\rho = \frac{\text{Cov}(X_1, X_2)}{\sqrt{\text{Var}(X_1)\text{Var}(X_2)}} = \frac{\sigma_{12}}{\sigma_1\sigma_2}$

其中：

• $\text{Cov}(X_1, X_2) = \sigma_{12} = \rho\sigma_1\sigma_2$ 是 $X_1$ 和 $X_2$ 的协方差
• $\text{Var}(X_1) = \sigma_1^2$，$\text{Var}(X_2) = \sigma_2^2$ 分别是 $X_1$ 和 $X_2$ 的方差

3.2 $\rho$ 的取值范围

由柯西-施瓦茨不等式： $|\text{Cov}(X_1, X_2)| \leq \sqrt{\text{Var}(X_1)\text{Var}(X_2)}$

因此： $|\rho| \leq 1$

在非退化情况下（$\Sigma > 0$），有 $|\rho| < 1$。

3.3 $\rho$ 的几何解释

3.4 $\rho$ 与条件分布的关系

3.5 $\rho$ 的统计推断

3.6 $\rho$ 的实际意义

4.1 联合密度函数

$f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \exp\left[-\frac{1}{2(1 - \rho^2)}\left(\frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2^2}\right)\right]$

4.2 边缘密度函数

$f_{X_1}(x_1) = \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^2}\right], \quad X_1 \sim N(\mu_1, \sigma_1^2)$

$f_{X_2}(x_2) = \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[-\frac{(x_2 - \mu_2)^2}{2\sigma_2^2}\right], \quad X_2 \sim N(\mu_2, \sigma_2^2)$

4.3 $\rho$ 的统计意义

1. 定义：$\rho = \frac{\text{Cov}(X_1, X_2)}{\sigma_1\sigma_2}$
2. 取值范围：$|\rho| < 1$（非退化情况）
3. 线性相关程度：衡量 $X_1$ 和 $X_2$ 之间的线性相关程度
4. 条件分布：
   • $E[X_2 | X_1 = x_1] = \mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x_1 - \mu_1)$
   • $\text{Var}(X_2 | X_1 = x_1) = \sigma_2^2(1 - \rho^2)$
5. 决定系数：$\rho^2$ 表示解释比例
6. 几何意义：决定联合密度函数等高线的形状和方向