LOADING
1296 字
6 分钟
样本均值向量和样本离差阵
2026-04-29
学习
/
多元统计分析
学习
/
多元统计分析

样本均值向量和样本离差阵的详细解释

一、样本均值向量

1.1 定义

设 X(1),X(2),…,X(n)X_{(1)}, X_{(2)}, \dots, X_{(n)} 是来自 pp 元总体的 nn 个独立同分布样本，其中每个样本 X(α)X_{(\alpha)} 是 pp 维列向量： X(α)=(xα1,xα2,…,xαp)′X_{(\alpha)} = (x_{\alpha 1}, x_{\alpha 2}, \dots, x_{\alpha p})'

样本均值向量定义为： Xˉp×1=1n∑α=1nX(α)=(xˉ1,xˉ2,…,xˉp)′\bar{X}_{p\times 1} = \frac{1}{n}\sum_{\alpha=1}^n X_{(\alpha)} = (\bar{x}_1, \bar{x}_2, \dots, \bar{x}_p)'

其中： xˉj=1n∑α=1nxαj,j=1,2,…,p\bar{x}_j = \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha j}, \quad j = 1, 2, \dots, p

1.2 矩阵表示

将所有样本排列成 n×pn \times p 数据矩阵：

X=[x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xn1xn2⋯xnp]=[X(1)′X(2)′⋮X(n)′]X = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{np} \end{bmatrix} = \begin{bmatrix} X_{(1)}' \\ X_{(2)}' \\ \vdots \\ X_{(n)}' \end{bmatrix}

则样本均值向量可以表示为： Xˉ=1nX′1n\bar{X} = \frac{1}{n}X'1_n

其中 1n=(1,1,…,1)′1_n = (1, 1, \dots, 1)' 是 nn 维列向量。

1.3 详细推导

Xˉ=1nX′1n=1n[x11x21⋯xn1x12x22⋯xn2⋮⋮⋱⋮x1px2p⋯xnp][11⋮1]=1n[∑α=1nxα1∑α=1nxα2⋮∑α=1nxαp]=[1n∑α=1nxα11n∑α=1nxα2⋮1n∑α=1nxαp]=(xˉ1,xˉ2,…,xˉp)′\begin{aligned} \bar{X} &= \frac{1}{n}X'1_n \\ &= \frac{1}{n}\begin{bmatrix} x_{11} & x_{21} & \cdots & x_{n1} \\ x_{12} & x_{22} & \cdots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{1p} & x_{2p} & \cdots & x_{np} \end{bmatrix} \begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{bmatrix} \\ &= \frac{1}{n}\begin{bmatrix} \sum_{\alpha=1}^n x_{\alpha 1} \\ \sum_{\alpha=1}^n x_{\alpha 2} \\ \vdots \\ \sum_{\alpha=1}^n x_{\alpha p} \end{bmatrix} \\ &= \begin{bmatrix} \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha 1} \\ \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha 2} \\ \vdots \\ \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha p} \end{bmatrix} \\ &= (\bar{x}_1, \bar{x}_2, \dots, \bar{x}_p)' \end{aligned}

二、样本离差阵（交叉乘积阵）

2.1 定义

样本离差阵定义为： Ap×p=∑α=1n(X(α)−Xˉ)(X(α)−Xˉ)′A_{p\times p} = \sum_{\alpha=1}^n (X_{(\alpha)} - \bar{X})(X_{(\alpha)} - \bar{X})'

这是一个 p×pp \times p 的对称矩阵，其 (i,j)(i, j) 元素为： aij=∑α=1n(xαi−xˉi)(xαj−xˉj)a_{ij} = \sum_{\alpha=1}^n (x_{\alpha i} - \bar{x}_i)(x_{\alpha j} - \bar{x}_j)

2.2 矩阵表示的推导

第一步：展开定义

A=∑α=1n(X(α)−Xˉ)(X(α)−Xˉ)′=∑α=1n(X(α)X(α)′−X(α)Xˉ′−XˉX(α)′+XˉXˉ′)\begin{aligned} A &= \sum_{\alpha=1}^n (X_{(\alpha)} - \bar{X})(X_{(\alpha)} - \bar{X})' \\ &= \sum_{\alpha=1}^n (X_{(\alpha)}X_{(\alpha)}' - X_{(\alpha)}\bar{X}' - \bar{X}X_{(\alpha)}' + \bar{X}\bar{X}') \end{aligned}

第二步：逐项求和

A=∑α=1nX(α)X(α)′−∑α=1nX(α)Xˉ′−∑α=1nXˉX(α)′+∑α=1nXˉXˉ′=∑α=1nX(α)X(α)′−(∑α=1nX(α))Xˉ′−Xˉ(∑α=1nX(α)′)+nXˉXˉ′\begin{aligned} A &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' - \sum_{\alpha=1}^n X_{(\alpha)}\bar{X}' - \sum_{\alpha=1}^n \bar{X}X_{(\alpha)}' + \sum_{\alpha=1}^n \bar{X}\bar{X}' \\ &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' - \left(\sum_{\alpha=1}^n X_{(\alpha)}\right)\bar{X}' - \bar{X}\left(\sum_{\alpha=1}^n X_{(\alpha)}'\right) + n\bar{X}\bar{X}' \end{aligned}

第三步：利用样本均值的定义

由于 Xˉ=1n∑α=1nX(α)\bar{X} = \frac{1}{n}\sum_{\alpha=1}^n X_{(\alpha)}，故 ∑α=1nX(α)=nXˉ\sum_{\alpha=1}^n X_{(\alpha)} = n\bar{X}，代入得：

A=∑α=1nX(α)X(α)′−(nXˉ)Xˉ′−Xˉ(nXˉ′)+nXˉXˉ′=∑α=1nX(α)X(α)′−nXˉXˉ′−nXˉXˉ′+nXˉXˉ′=∑α=1nX(α)X(α)′−nXˉXˉ′\begin{aligned} A &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' - (n\bar{X})\bar{X}' - \bar{X}(n\bar{X}') + n\bar{X}\bar{X}' \\ &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' - n\bar{X}\bar{X}' - n\bar{X}\bar{X}' + n\bar{X}\bar{X}' \\ &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' - n\bar{X}\bar{X}' \end{aligned}

第四步：用数据矩阵表示

注意到： ∑α=1nX(α)X(α)′=X′X\sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' = X'X

因为：

X′X=[x11x21⋯xn1x12x22⋯xn2⋮⋮⋱⋮x1px2p⋯xnp][x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xn1xn2⋯xnp]=[∑α=1nxα12∑α=1nxα1xα2⋯∑α=1nxα1xαp∑α=1nxα2xα1∑α=1nxα22⋯∑α=1nxα2xαp⋮⋮⋱⋮∑α=1nxαpxα1∑α=1nxαpxα2⋯∑α=1nxαp2]=∑α=1n[xα12xα1xα2⋯xα1xαpxα2xα1xα22⋯xα2xαp⋮⋮⋱⋮xαpxα1xαpxα2⋯xαp2]=∑α=1nX(α)X(α)′\begin{aligned} X'X &= \begin{bmatrix} x_{11} & x_{21} & \cdots & x_{n1} \\ x_{12} & x_{22} & \cdots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{1p} & x_{2p} & \cdots & x_{np} \end{bmatrix} \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{np} \end{bmatrix} \\ &= \begin{bmatrix} \sum_{\alpha=1}^n x_{\alpha 1}^2 & \sum_{\alpha=1}^n x_{\alpha 1}x_{\alpha 2} & \cdots & \sum_{\alpha=1}^n x_{\alpha 1}x_{\alpha p} \\ \sum_{\alpha=1}^n x_{\alpha 2}x_{\alpha 1} & \sum_{\alpha=1}^n x_{\alpha 2}^2 & \cdots & \sum_{\alpha=1}^n x_{\alpha 2}x_{\alpha p} \\ \vdots & \vdots & \ddots & \vdots \\ \sum_{\alpha=1}^n x_{\alpha p}x_{\alpha 1} & \sum_{\alpha=1}^n x_{\alpha p}x_{\alpha 2} & \cdots & \sum_{\alpha=1}^n x_{\alpha p}^2 \end{bmatrix} \\ &= \sum_{\alpha=1}^n \begin{bmatrix} x_{\alpha 1}^2 & x_{\alpha 1}x_{\alpha 2} & \cdots & x_{\alpha 1}x_{\alpha p} \\ x_{\alpha 2}x_{\alpha 1} & x_{\alpha 2}^2 & \cdots & x_{\alpha 2}x_{\alpha p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{\alpha p}x_{\alpha 1} & x_{\alpha p}x_{\alpha 2} & \cdots & x_{\alpha p}^2 \end{bmatrix} \\ &= \sum_{\alpha=1}^n X_{(\alpha)}X_{(\alpha)}' \end{aligned}

因此： A=X′X−nXˉXˉ′A = X'X - n\bar{X}\bar{X}'

2.3 中心化矩阵表示

定义中心化矩阵

中心化矩阵（也称为投影矩阵）定义为： H=In−1n1n1n′H = I_n - \frac{1}{n}1_n1_n'

其中 InI_n 是 n×nn \times n 单位矩阵，1n1_n 是 nn 维列向量。

验证中心化矩阵的性质

  1. 对称性：H′=HH' = H
H′=(In−1n1n1n′)′=In′−1n(1n1n′)′=In−1n1n1n′=H\begin{aligned} H' &= (I_n - \frac{1}{n}1_n1_n')' \\ &= I_n' - \frac{1}{n}(1_n1_n')' \\ &= I_n - \frac{1}{n}1_n1_n' \\ &= H \end{aligned}
  1. 幂等性：H2=HH^2 = H
H2=(In−1n1n1n′)(In−1n1n1n′)=In2−1nIn1n1n′−1n1n1n′In+1n21n1n′1n1n′=In−1n1n1n′−1n1n1n′+1n21n(n)1n′=In−1n1n1n′−1n1n1n′+1n1n1n′=In−1n1n1n′=H\begin{aligned} H^2 &= (I_n - \frac{1}{n}1_n1_n')(I_n - \frac{1}{n}1_n1_n') \\ &= I_n^2 - \frac{1}{n}I_n1_n1_n' - \frac{1}{n}1_n1_n'I_n + \frac{1}{n^2}1_n1_n'1_n1_n' \\ &= I_n - \frac{1}{n}1_n1_n' - \frac{1}{n}1_n1_n' + \frac{1}{n^2}1_n(n)1_n' \\ &= I_n - \frac{1}{n}1_n1_n' - \frac{1}{n}1_n1_n' + \frac{1}{n}1_n1_n' \\ &= I_n - \frac{1}{n}1_n1_n' \\ &= H \end{aligned}

推导 A=X′HXA = X'HX

X′HX=X′(In−1n1n1n′)X=X′InX−1nX′1n1n′X=X′X−1n(X′1n)(1n′X)\begin{aligned} X'HX &= X'(I_n - \frac{1}{n}1_n1_n')X \\ &= X'I_nX - \frac{1}{n}X'1_n1_n'X \\ &= X'X - \frac{1}{n}(X'1_n)(1_n'X) \end{aligned}

注意到： X′1n=nXˉX'1_n = n\bar{X}

因为：

X′1n=[x11x21⋯xn1x12x22⋯xn2⋮⋮⋱⋮x1px2p⋯xnp][11⋮1]=[∑α=1nxα1∑α=1nxα2⋮∑α=1nxαp]=n[1n∑α=1nxα11n∑α=1nxα2⋮1n∑α=1nxαp]=nXˉ\begin{aligned} X'1_n &= \begin{bmatrix} x_{11} & x_{21} & \cdots & x_{n1} \\ x_{12} & x_{22} & \cdots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{1p} & x_{2p} & \cdots & x_{np} \end{bmatrix} \begin{bmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{bmatrix} \\ &= \begin{bmatrix} \sum_{\alpha=1}^n x_{\alpha 1} \\ \sum_{\alpha=1}^n x_{\alpha 2} \\ \vdots \\ \sum_{\alpha=1}^n x_{\alpha p} \end{bmatrix} \\ &= n\begin{bmatrix} \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha 1} \\ \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha 2} \\ \vdots \\ \frac{1}{n}\sum_{\alpha=1}^n x_{\alpha p} \end{bmatrix} \\ &= n\bar{X} \end{aligned}

同理： 1n′X=(X′1n)′=(nXˉ)′=nXˉ′1_n'X = (X'1_n)' = (n\bar{X})' = n\bar{X}'

因此：

X′HX=X′X−1n(nXˉ)(nXˉ′)=X′X−nXˉXˉ′=A\begin{aligned} X'HX &= X'X - \frac{1}{n}(n\bar{X})(n\bar{X}') \\ &= X'X - n\bar{X}\bar{X}' \\ &= A \end{aligned}

2.4 元素表示

样本离差阵 AA 的 (i,j)(i, j) 元素为： aij=∑α=1n(xαi−xˉi)(xαj−xˉj)a_{ij} = \sum_{\alpha=1}^n (x_{\alpha i} - \bar{x}_i)(x_{\alpha j} - \bar{x}_j)

详细推导：

aij=∑α=1n(xαi−xˉi)(xαj−xˉj)=∑α=1n(xαixαj−xαixˉj−xˉixαj+xˉixˉj)=∑α=1nxαixαj−xˉj∑α=1nxαi−xˉi∑α=1nxαj+nxˉixˉj=∑α=1nxαixαj−xˉj(nxˉi)−xˉi(nxˉj)+nxˉixˉj=∑α=1nxαixαj−nxˉixˉj\begin{aligned} a_{ij} &= \sum_{\alpha=1}^n (x_{\alpha i} - \bar{x}_i)(x_{\alpha j} - \bar{x}_j) \\ &= \sum_{\alpha=1}^n (x_{\alpha i}x_{\alpha j} - x_{\alpha i}\bar{x}_j - \bar{x}_i x_{\alpha j} + \bar{x}_i\bar{x}_j) \\ &= \sum_{\alpha=1}^n x_{\alpha i}x_{\alpha j} - \bar{x}_j\sum_{\alpha=1}^n x_{\alpha i} - \bar{x}_i\sum_{\alpha=1}^n x_{\alpha j} + n\bar{x}_i\bar{x}_j \\ &= \sum_{\alpha=1}^n x_{\alpha i}x_{\alpha j} - \bar{x}_j(n\bar{x}_i) - \bar{x}_i(n\bar{x}_j) + n\bar{x}_i\bar{x}_j \\ &= \sum_{\alpha=1}^n x_{\alpha i}x_{\alpha j} - n\bar{x}_i\bar{x}_j \end{aligned}

这与 A=X′X−nXˉXˉ′A = X'X - n\bar{X}\bar{X}' 的元素表示一致。

三、统计意义

3.1 样本均值向量

  • 是总体均值向量 μ\mu 的无偏估计：E[Xˉ]=μE[\bar{X}] = \mu
  • 当样本来自正态总体时，Xˉ∼Np(μ,1nΣ)\bar{X} \sim N_p(\mu, \frac{1}{n}\Sigma)

3.2 样本离差阵

  • 是总体协方差矩阵 Σ\Sigma 的 nn 倍估计：E[A]=(n−1)ΣE[A] = (n-1)\Sigma（当总体均值未知时）
  • 样本协方差矩阵定义为：S=1n−1AS = \frac{1}{n-1}A
  • 当样本来自正态总体时，AA 服从 Wishart 分布：A∼Wp(n−1,Σ)A \sim W_p(n-1, \Sigma)

3.3 中心化矩阵的几何意义

中心化矩阵 H=In−1n1n1n′H = I_n - \frac{1}{n}1_n1_n' 将数据投影到与向量 1n1_n 正交的子空间上，即去除数据的均值信息，保留离差信息。

四、总结

4.1 样本均值向量

Xˉ=1n∑α=1nX(α)=(xˉ1,xˉ2,…,xˉp)′=1nX′1n\bar{X} = \frac{1}{n}\sum_{\alpha=1}^n X_{(\alpha)} = (\bar{x}_1, \bar{x}_2, \dots, \bar{x}_p)' = \frac{1}{n}X'1_n

4.2 样本离差阵

A=∑α=1n(X(α)−Xˉ)(X(α)−Xˉ)′=X′X−nXˉXˉ′=X′HXA = \sum_{\alpha=1}^n (X_{(\alpha)} - \bar{X})(X_{(\alpha)} - \bar{X})' = X'X - n\bar{X}\bar{X}' = X'HX

其中 H=In−1n1n1n′H = I_n - \frac{1}{n}1_n1_n' 是中心化矩阵。

4.3 元素表示

aij=∑α=1n(xαi−xˉi)(xαj−xˉj)=∑α=1nxαixαj−nxˉixˉja_{ij} = \sum_{\alpha=1}^n (x_{\alpha i} - \bar{x}_i)(x_{\alpha j} - \bar{x}_j) = \sum_{\alpha=1}^n x_{\alpha i}x_{\alpha j} - n\bar{x}_i\bar{x}_j

样本均值向量和样本离差阵
/posts/study/multivariate-statistical-analysis/样本均值向量和样本离差阵/
作者
Xs
发布于
2026-04-29
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

多元正态分布
特征函数
目录
技能展示
文章
日记
时间线
相册
项目展示
分类
标签
目录
© 2026 Xs. All Rights Reserved. / RSS / Atom / Sitemap
Powered by Astro & Twilight  Version 1.0