2025年【应用多元统计分析】CH3 多元正态分布

大家好，我是讯享网，很高兴认识大家。

一、多元正态分布的定义

1.定义

2.二元正态分布

二、多元正态分布的性质

【property1*】

【property2】

【property3】

【property4】

【property5】

【property6】

【property7】

【property8*】

【property9*】

【property10*】

【property11】

三、极大似然估计及估计量的性质

前言

1.极大似然估计

（1）极大似然估计介绍

（2）均值和协差阵的极大似然估计

（3）相关系数的极大似然估计

2.估计量的性质

（1）无偏性

（2）有效性

（3）一致性

（4）充分性

（5）MLE的不变性

四、复相关系数和偏相关系数

1.复相关系数

（1）前言

（2）定义

（3）复相关系数的MLE

2.偏相关系数

（1）前言

（2）引例

（3）定义

（4）一阶偏相关系数

（5）偏相关系数一般递推公式

（6）偏相关系数的MLE

（7）偏协方差矩阵的导出

五、均值和(n-1)S的抽样分布

1.均值的抽样分布

（1）正态总体

（2）非正态总体（多元中心极限定理）

2.(n-1)S的抽样分布

（1）矩阵的拉直

（2）威沙特分布的定义

（3）威沙特分布的性质

（4） (n-1)S的抽样分布

一、多元正态分布的定义

1.定义

一元正态分布 $\small N(\mu ,\sigma ^2)$
讯享网的概率密度函数为:

$\small f(x)=\frac{1}{\sqrt{2*\pi }\sigma }e^{-\frac{(x-\mu )^2}{2*\sigma ^2}}=(2*\pi )^{-\frac{1}{2}}(\sigma ^2)^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )(\sigma ^2)^{-1}(x-\mu )],-\infty<x<+\infty$

若随机向量 $\small x=(x_{1},x_{2},\cdots ,x_{p})^{'}$ 的概率密度函数为:

$\small f(x)=(2*\pi)^{-\frac{p}{2}}{\left | \Sigma \right |}^{-\frac{1}{2}}exp[-\frac{1}{2}(x-\mu )^{'}\Sigma ^{-1}(x-\mu )]$

则称 $\small x$ 服从 $\small p$ 元正态分布，记作 $\small x\sim N_{p}(\mu ,\Sigma )$ ，其中，参数 $\small \mu ,\Sigma$ 分别为 $\small x$ 的均值和协差阵。

2.二元正态分布

设 $\small x\sim N_{2}(\mu,\Sigma )$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma =\begin{pmatrix} \sigma _{1}^{2} & \sigma _{1}\sigma _{2}\rho \\ \sigma _{1}\sigma _{2}\rho &\sigma _{2}^{2} \end{pmatrix}$ 。易见， $\small \rho$ 是 $\small x_{1},x_{2}$ 的相关系数。当 $\small \left | \rho \right |<1$ 时，可得 $\small x$ 的概率密度函数为: $\small f(x_{1},x_{2})=\frac{1}{2\pi\sigma _{1}\sigma _{2}\sqrt{1-\rho ^2}}exp\left \{ -\frac{1}{2(1-\rho ^2)}[(\frac{x_{1}-\mu_{1}}{\sigma _{1}})^2-2\rho (\frac{x_{1}-\mu_{1}}{\sigma _{1}})(\frac{x_{2}-\mu_{2}}{\sigma _{2}})+(\frac{x_{2}-\mu_{2}}{\sigma _{2}})^2] \right \}$

【注】二元正态分布等高线（见课本）

二、多元正态分布的性质

**【property1*】**

多元正态分布的特征函数为 $\small \varphi_{x}=exp(it^{'}\mu-\frac{1}{2}t^{'}\Sigma t)$ ，其中 $\small \Sigma =AA^{'}$ 。

【property2】

设 $\small x$ 是一个 $\small p$ 维随机向量，则 $\small x$ 服从多元正态分布，当且仅当它的任何线性函数 $\small a^{'}x$ （ $\small a$ 为 $\small p$ 维常数向量）均服从一元正态分布

【property3】

设 $\small x\sim N_{p}(\mu,\Sigma),y=Cx+b$ ，其中 $\small C$ 为 $\small r*p$ 常数矩阵，则 $\small y\sim N_{r}(C\mu+b,C\Sigma C^{'})$

【注】该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量

【eg】设 $\small x\sim N_{p}(\mu,\Sigma),a$ 为 $\small p$ 维常数向量，则有上述性质2或3可知， $\small a^{'}x\sim N(a^{'}\mu,a^{'}\Sigma a)$

【eg】设 $\small x\sim N_{2}(\mu,\Sigma),$ 其中 $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix},\mu =\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma _{1}^2 &\rho \sigma _{1} \sigma _{2} \\ \rho \sigma _{1} \sigma _{2} & \sigma _{2}^2 \end{pmatrix}$ ，则：

$\small x_{1}-x_{2}\sim N(\mu_{1}-\mu_{2},\sigma _{1}^2+\sigma _{2}^2-2\rho \sigma _{1}\sigma _{2})$

【property4】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，则 $\small x$ 的任何子向量也服从（多元）正态分布，其均值为 $\small \mu$ 的相应子向量，协方差矩阵为 $\small \Sigma$ 的相应子矩阵

【注1】该性质表明多元正态分布的任何边缘分布仍为（多元）正态分布

【注2】随机向量的任何边缘分布皆为（多元）正态分布推不出该随机向量服从多元正态分布（反例：习题2.3）

【注3】正态变量的线性组合未必就是正态变量。

$\small x_{1},x_{2},\cdots ,x_{n}$ 均为一元正态变量 $\small \Leftarrow x_{1},x_{2},\cdots ,x_{n}$ 的联合分布为多元正态分布 $\small \Leftrightarrow x_{1},x_{2},\cdots ,x_{n}$ 的一切线性组合是一元正态变量

【例】设 $\small x\sim N_{4}(\mu,\Sigma)$ ，这里 $\small x=\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3}\\ x_{4} \end{pmatrix},\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2}\\ \mu_{3}\\ \mu_{4} \end{pmatrix},\Sigma=\begin{pmatrix} \sigma_{11} & \sigma_{12} & \sigma_{13} &\sigma_{14} \\ \sigma_{21} & \sigma_{22} & \sigma_{23} &\sigma_{24} \\ \sigma_{31}&\sigma_{32} &\sigma_{33} &\sigma_{34} \\ \sigma_{41} &\sigma_{42} & \sigma_{43} &\sigma_{44} \end{pmatrix}$ ，则：

$\small x_{i}\sim N(\mu_{i},\sigma_{ii}),i=1,2,3,4$
$\small \begin{pmatrix} x_{4}\\ x_{1}\\ x_{3} \end{pmatrix}\sim N_{3}\left ( \begin{pmatrix} \mu_{4}\\ \mu_{1}\\ \mu_{3} \end{pmatrix} ,\begin{pmatrix} \sigma_{44} & \sigma_{41} & \sigma_{43} \\ \sigma_{14} & \sigma_{11} &\sigma_{13} \\ \sigma_{34} & \sigma_{31} & \sigma_{33} \end{pmatrix}\right )$
$\small \begin{pmatrix} x_{1}\\ x_{4} \end{pmatrix}\sim N_{2}\left ( \begin{pmatrix} \mu_{1}\\ \mu_{4} \end{pmatrix} ,\begin{pmatrix} \sigma_{11} &\sigma_{14} \\ \sigma_{41} & \sigma_{44} \end{pmatrix}\right )$

【property5】

设 $\small x_{1},x_{2},\cdots ,x_{n}$ 相互独立，且 $\small x_{i}\sim N_{p}(\mu_{i},\Sigma_{i}),i=1,2,\cdots,n$ ，则对任意 $\small n$ 个常数 $\small k_{1},k_{2},\cdots,k_{n}$ ，有 $\small \sum_{i=1}^{n}k_{i}x_{i}\sim N_{p}\left ( \sum_{i=1}^{n}k_{i}\mu_{i},\sum_{i=1}^{n}k_{i}^2 \Sigma_{i} \right )$

【注】此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量

【property6】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，对 $\small x,\mu,\Sigma (>0)$ 作如下的剖分： $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix}_{p-k}^k ,\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix}_{p-k}^k,\Sigma=\begin{pmatrix} \Sigma_{11} &\Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}_{p-k}^{k}$ ，其中 $\small \Sigma_{11}$ 为 $\small p*p$ 矩阵，则子向量 $\small x_{1},x_{2}$ 相互独立，当且仅当 $\small \Sigma_{12}=0$

【注】可作一般化推广，并对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的

【eg3.2.5】设 $x\sim N_{3}(\mu,\Sigma)$ ，其中 $\Sigma=\begin{pmatrix} 3 &0 &0 \\ 0 & 5 & -1\\ 0&-1 &1 \end{pmatrix}$ ，则 $x_{2},x_{3}$ 不独立， $x_{1},(x_{2},x_{3})$ 独立

【property7】

设 $x\sim N_{p}(\mu,\Sigma),\Sigma>0$ ，则 $(x-\mu)^{'}\Sigma^{-1}(x-\mu)\sim \chi ^{2}(p)$

**【property8*】**

设 $x\sim N_{n}(0,I),y=Ax+a,z=Bx+b$ ，其中 A:p*n,a:p*1,B:q*n,b:q*1,rank(A)=p,rank(B)=q ，则 y,z 相互独立，当且仅当 $A\Sigma B^{'}=0$ 。

**【property9*】**

设 $x\sim N_{n}(\mu,\Sigma),y=Ax+a,z=Bx+b$ ，其中 $\Sigma>0,A:p*n,a:p*1,B:q*n,b:q*1,rank(A)=p,rank(B)=q$ ，则 y,z 相互独立，当且仅当 $A\Sigma B^{'}=0$ 。

**【property10*】**

设 $x\sim N_{p}(\mu,\Sigma),\Sigma>0$ ，将其作与性质（6）同样的剖分，则 $x_{1}-\Sigma_{12}\Sigma_{22}^{-1}x_{2},x_{2}$ 相互独立， $x_{1},x_{2}-\Sigma_{21}\Sigma_{11}^{-1}x_{1}$ 也相互独立

【property11】

设 $\small x\sim N_{p}(\mu,\Sigma)$ ，对 $\small x,\mu,\Sigma (>0)$ 作如下的剖分： $\small x=\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix}_{p-k}^k ,\mu=\begin{pmatrix} \mu_{1}\\ \mu_{2} \end{pmatrix}_{p-k}^k,\Sigma=\begin{pmatrix} \Sigma_{11} &\Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}_{p-k}^{k}$ ，其中 $\small \Sigma_{11}$ 为 $\small p*p$ 矩阵，则给定 $x_{2}$ 时 $x_{1}$ 的条件分布为 $N_{k}(\mu_{1.2},\Sigma_{11.2})$ ，其中 $\mu_{1.2}=\mu_{1}+\Sigma_{12}\Sigma_{22}^{-1}(x_{2}-\mu_{2}),\Sigma_{11.2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ 。

【注1】 $\mu_{1.2},\Sigma_{11.2}$ 分别成为条件数学期望，条件协方差矩阵。 $\Sigma_{11.2}$ 通常称为偏协方差矩阵

【注2】这一性质可作一般化推广，并对于多元正态变量，其子向量的条件分布仍是（多元）正态

【eg3.2.8】设 $x\sim N_{3}(\mu,\Sigma)$ ，其中 $\mu=\begin{pmatrix} 1\\ 0\\ -2 \end{pmatrix},\Sigma=\begin{pmatrix} 16 &-4 & 2\\ -4 & 4&-1 \\ 2& -1& 4 \end{pmatrix}$ ，试给定 $x_{1}+2x_{3}$ 时 $\begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix}$ 的条件分布。

$y_{1}=\begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix},y_{2}=x_{1}+2x_{2},\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} x_{2}-x_{3}\\ x_{1}\\ x_{1}+2x_{2} \end{pmatrix}=\begin{pmatrix} 0 &1 & -1\\ 1& 0& 0\\ 1& 0&2 \end{pmatrix}\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3} \end{pmatrix}\sim N_{3}(*,*)$

$E\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} 0 & 1&-1 \\ 1& 0& 0\\ 1&0 & 2 \end{pmatrix}\begin{pmatrix} 1\\ 0\\ -2 \end{pmatrix}=\begin{pmatrix} 2\\ 1\\ -3 \end{pmatrix},V\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} 0 &1 &-1 \\ 1&0 &0 \\ 1 &0 & 2 \end{pmatrix}\begin{pmatrix} 16 &-4 & 2\\ -4 & 4 & -1\\ 2& -1 & 4 \end{pmatrix}\begin{pmatrix} 0 & 1 & 1\\ 1 & 0 &0 \\ -1 & 0 & 2 \end{pmatrix}=\begin{pmatrix} 10 & -6 &-16 \\ -6 &16 &20 \\ -16& 20 & 40 \end{pmatrix}$

根据【property11】得出 ${\color{Blue} \begin{pmatrix} x_{2}-x_{3}\\ x_{1} \end{pmatrix}|x_{1}+2x_{2}\sim N_{2}[\begin{pmatrix} -\frac{2}{5}x_{1}-\frac{4}{5}x_{3}+\frac{4}{5}\\ \frac{1}{2}x_{1}+x_{3}+\frac{5}{2} \end{pmatrix},\begin{pmatrix} \frac{18}{5} &2 \\ 2 & 6 \end{pmatrix}]}$

三、极大似然估计及估计量的性质

前言

简单随机样本（简称样本）：满足 $x_{1},x_{2},\cdots ,x_{n}$ 独立，且与总体分布相同。
设 $x\sim N_{p}(\mu,\Sigma),\Sigma>0,x_{1},x_{2},\cdots ,x_{n}$ 是从中抽取的一个样本
数据矩阵或观测值矩阵： $X=\begin{pmatrix} x_{1}^{'}\\ x_{2}^{'}\\ \vdots \\ x_{n}^{'} \end{pmatrix}=\begin{pmatrix} x_{11} &x_{12} & \cdots & x_{1p}\\ x_{21} & x_{22}&\cdots & x_{2p}\\ \vdots & \vdots & &\vdots \\ x_{n1}& x_{n2} &\cdots & x_{np} \end{pmatrix}$

1.极大似然估计

（1）极大似然估计介绍

似然函数：是样本联合概率密度 $f(x_{1},x_{2},\cdots,x_{n})$ 的任意正常数倍，记为 $L(\theta ;x_{1},\cdots,x_{n})$ ，将其看作参数 $\theta$ 的函数，简记为 $L(\theta )$
极大似然估计：如果统计量 $\hat{\theta }$ 满足 $L(\hat{\theta })=max_{\theta }L(\theta )$ ，则 $\hat{\theta }$ 称作 $\theta$ 的极大似然估计（MLE）
MLE思想：当样本 $x_{1},x_{2},\cdots,x_{n}$ 给定后，可考虑对不同的 $\theta$ ，联合概率密度如何变，它反映了对样本的解释能力，这便是似然。MLE就是要寻找一个 $\hat{\theta }$ 使得这个样本出现的概率最大

（2）均值和协差阵的极大似然估计

一元正态情形： $\hat{\mu }=\bar{x},\hat{\sigma }^2=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^2$
多元正态情形： $\hat{\mu }=\bar{x},\hat{\Sigma }=\frac{1}{n}A=\frac{n-1}{n}S$ ，其中 $\bar{x}$ 称为样本均值向量， $A=\sum_{i=1}^{n}(x_{i}-\bar{x})(x_{i}-\bar{x})^{'}$ 称为样本离差矩阵或平方和及叉积和将矩阵， $S=\frac{1}{n-1}A$ 称为样本协方差矩阵

（3）相关系数的极大似然估计

$r_{ij}=\frac{\hat{\sigma _{ij}}}{\sqrt{\hat{\sigma _{ii}}}\sqrt{\hat{\sigma _{jj}}}}=\frac{s_{ij}}{\sqrt{s_{ii}}\sqrt{s_{jj}}}=\frac{\sum_{k=1}^{n}(x_{ki}-\bar{x_{i}})(x_{kj}-\bar{x_{j}})}{\sqrt{\sum_{k=1}^{n}(x_{ki}-\bar{x_{i}})^2}\sqrt{\sum_{k=1}^{n}(x_{kj}-\bar{x_{j}})^2}}$

其中 $\hat{\Sigma}=(\hat{\sigma _{ij}}),\hat{S}=(s _{ij}),\bar{x}=(\bar{x_{1}},\bar{x_{2}},\cdots,\bar{x_{p}})^{'}$ 。称 $r_{ij}$ 为样本相关系数， $\hat{R}=(r_{ij})$ 为样本相关矩阵。

2.估计量的性质

（1）无偏性

【定义】如果 $E(\hat{\theta })=\theta$ ，则称估计量 $\hat{\theta }$ 是被估参数 $\theta$ 的一个无偏估计，否则就成为有偏的
【注1】 $E(\bar{x})=\mu$
【注2】 $E(\hat{\Sigma})=\frac{n-1}{n}\Sigma,\hat{\Sigma}$ 是 $\Sigma$ 的有偏估计
【注3】 $E(S)=\Sigma$

${\color{Blue} proof:}$

（2）有效性

【定义】设 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计，若对 $\theta$ 的任一无偏估计 $\tilde{\theta }$ ，有 $V(\hat{\theta })\leqslant V(\tilde{\theta }),\theta \epsilon \Theta$ ，即 $V(\tilde{\theta })-V(\hat{\theta })$ 为非负定矩阵，则称 $\hat{\theta }$ 为 $\theta$ 的一致最优无偏估计
【注】可以证明，对于多元正态总体， $\bar{x},S$ 分别是 $\mu,\Sigma$ 的一致最优无偏估计

（3）一致性

【定义】如果未知参数 $\theta$ （可以是一个向量或矩阵）的估计量 $\hat{\theta }_{n}$ 随着样本量的不断增大，而无限地逼近于真值 $\theta$ ，则称 $\hat{\theta }_{n}$ 为 $\theta$ 的一致估计（相合估计）
【注1】估计量的一致性是在大样本情形下提出的一种要求，而对于小样本，他不能作为评价估计量好坏的准测
【注2】可以证明， $\bar{x},\hat{\Sigma }(S)$ 分别是 $\mu,\Sigma$ 的一致估计（无需总体正态性的假定）

（4）充分性

【定义】如果一个统计量能把含在样本中的有关总体（或有关未知参数）的信息一点都不损失地充分提取出来，则这种统计量就称为充分统计量
【注1】可以证明，对于总体 $N_{p}(\mu,\Sigma)$ ，当 $\Sigma$ 已知时， $\bar{x}$ 是 $\mu$ 的充分统计量；当 $\mu$ 已知时， $\tilde{\Sigma }=\frac{1}{n}\sum_{i=1}^{n}(x_{i}-\mu)(x_{i}-\mu)^{'}$ 是 $\Sigma$ 充分统计量
【注2】用来作为估计量的充分统计量称为充分估计量。 $A,\hat{\Sigma },S$ 这三者之间只相差一个常数倍，所含的信息完全相同，故当 $\mu,\Sigma$ 均未知时， $(\bar{x},\hat{\Sigma }),(\bar{x},S)$ 也都是 $(\mu,\Sigma )$ 的充分统计量

（5）MLE的不变性

【定义】如果 $\hat{\theta }$ 是 $\theta$ 的MLE，那么对于 $\theta$ 的函数 $g(\theta )$ ，其MLE是 $g(\hat{\theta })$
【注】相关系数 $\rho _{ij}=\frac{\sigma _{ij}}{\sqrt{\sigma _{ii}}\sqrt{\sigma _{jj}}}$ ，因此其MLE为 $r_{ij}=\frac{\hat{\sigma _{ij}}}{\sqrt{\hat{\sigma _{ii}}}\sqrt{\hat{\sigma _{jj}}}}$

四、复相关系数和偏相关系数

1.复相关系数

（1）前言

（简单）相关系数度量了一个随机变量与另一个随机变量之间线性关系的强弱
复相关系数度量了一个随机基变量与一组随机变量 $x_{1},x_{2},\cdots,x_{p}$ 之间线性关系的强弱

（2）定义

设 $E\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} \mu_{y}\\ \mu_{x} \end{pmatrix},V\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} \sigma _{yy} & \sigma _{xy}^{'}\\ \sigma _{xy}& \sigma _{xx} \end{pmatrix},\begin{pmatrix} y\\ x \end{pmatrix}$ 的相关矩阵 $=\begin{pmatrix} 1 & \rho _{xy}^{'}\\ \rho _{xy}& R_{xx} \end{pmatrix}$ 。则和的线性函数 $l^{'}x$ (为任一维非零常数向量)间的最大相关系数称为和间的复（或多重）相关系数，记作 $\rho _{y.x}(\rho _{y.1,2,\cdots, p})$ ，它度量了一个变量和一组变量 $x_{1},x_{2},\cdots,x_{p}$ 间的相关程度。

和 $l^{'}x$ 的相关系数的平方

$\rho ^2(y,l^{'}x)=\frac{Cov^2(y,l^{'}x)}{V(y)V(l^{'}x)}=\frac{(\sigma _{xy}^{'}l)^2}{\sigma _{yy}*l^{'}\Sigma_{xx}l}\leqslant \frac{(\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy})(l^{'}\Sigma_{xx}l)}{\sigma _{yy}*l^{'}\Sigma_{xx}l}=\frac{(\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy})}{\sigma _{yy}}$

上述不等式由柯西不等式得到，若取 $l=\Sigma_{xx}^{-1}\sigma _{xy}$ ，则上述等号成立。所以， y,x 的复相关系数为：

$D=diag(\sqrt{\sigma _{11}},\sqrt{\sigma _{22}},\cdots ,\sqrt{\sigma _{pp}}),\sigma _{ii}=v(x_{i}),\Sigma_{xx}=DR_{xx}D,\Sigma_{xx}^{-1}=D^{-1}R_{xx}^{-1}D^{-1}$

$\frac{\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy}}{\sigma _{yy}}=\frac{\sigma _{xy}^{'}D^{-1}}{\sqrt{\sigma _{yy}}}R_{xx}^{-1}\frac{D^{-1}\sigma _{xy}}{\sqrt{\sigma _{yy}}}$

$\frac{\sigma _{xy}^{'}D^{-1}}{\sqrt{\sigma _{yy}}}=\begin{pmatrix} cov(x_{1},y) & cov(x_{1},y) & \cdots & cov(x_{p},y) \end{pmatrix}\begin{pmatrix} \frac{1}{\sqrt{\sigma _{11}}\sqrt{\sigma _{yy}}} & & & \\ & \frac{1}{\sqrt{\sigma _{22}}\sqrt{\sigma _{yy}}} & & \\ & & & \ddots \\ & & & \frac{1}{\sqrt{\sigma _{pp}}\sqrt{\sigma _{yy}}} \end{pmatrix}=\begin{pmatrix} \frac{cov(x_{1},y) }{\sqrt{\sigma _{11}}\sqrt{\sigma _{yy}}} & \frac{cov(x_{2},y) }{\sqrt{\sigma _{22}}\sqrt{\sigma _{yy}}}&\cdots & \frac{cov(x_{p},y) }{\sqrt{\sigma _{pp}}\sqrt{\sigma _{yy}}} \end{pmatrix}=\begin{pmatrix} \rho (x_{1},y) &\rho (x_{2},y) &\cdots & \rho (x_{p},y) \end{pmatrix}=\rho _{xy}^{'}$

因而， $\rho _{y.x}=max_{l\neq 0}\rho (y,l^{'}x)=\rho (y,\sigma _{xy}^{'}\Sigma_{xx}^{-1}x)=\sqrt{\frac{\sigma _{xy}^{'}\Sigma_{xx}^{-1}\sigma _{xy}}{\sigma _{yy}}}=\sqrt{\rho _{xy}^{'}R_{xx}^{-1}\rho _{xy}}$

【注1】 p=1 时，复相关系数退化为简单相关系数的绝对值

【注2】 y,x 的负相关系数为0，当且仅当 y,x 不相关（即 $\sigma _{xy}=0(\rho _{xy}=0)$ ）

【注3】复相关系数通过 $\rho _{xy},R_{xx}$ 求得，而其中的相关系数对变量单位的改变具有不变性，故复相关系数对变量单位的改变也具有不变性

【注4】若 $x_{1},x_{2},\cdots ,x_{p}$ 互不相关，即 $R_{xx}=I$ ，于是有

$\rho ^2_{y.x}=\rho _{xy}^{'}R_{xx}^{-1}\rho _{xy}=\rho ^2(y,x_{1})+\cdots +\rho ^2(y,x_{p})$

即此时复相关系数的平方等于 y,x 各分量相关系数的平方和

【eg3.4.1】试证随机变量 $x_{1},x_{2},\cdots ,x_{p}$ 的任一线性函数 $F=a_{1}x_{1}+a_{2}x_{2}+\cdots +a_{p}x_{p}$ 与 $x_{1},x_{2},\cdots ,x_{p}$ 的复相关系数为1

${\color{Blue} proof:}$

${\color{Blue} \because 1\geqslant \rho _{F.1,2,\cdots ,p}=max_{l\neq 0}\rho (F,\sum_{i=1}^{p}l_{i}x_{i})\geqslant \rho (F,\sum_{i=1}^{p}a_{i}x_{i})=1\therefore \rho _{F.1,2,\cdots ,p}=1}$

（3）复相关系数的MLE

设样本 $V\begin{pmatrix} y\\ x \end{pmatrix}=\begin{pmatrix} s_{yy} &s_{xy}^{'} \\ s_{xy}& S_{xx} \end{pmatrix},\begin{pmatrix} y\\ x \end{pmatrix}$ 的样本相关矩阵 $=\begin{pmatrix} 1 &r_{xy}^{'} \\ r_{xy}& \hat{R}_{xx} \end{pmatrix}$ ，这里 n>p 则在多元正态的假定下，复相关系数 $\rho _{y.x}$ 的MLE为：

$r_{y.x}=\sqrt{\frac{s_{xy}^{'}S_{xx}^{'}s_{xy}}{s_{yy}}}=\sqrt{r_{xy}^{'}\hat{R}_{xx}^{-1}r_{xy}}$

称为样本复相关系数。

2.偏相关系数

（1）前言

两个变量之间的相关性，除了受这两个变量彼此间的影响外，常常还受其他一系列变量的影响。由于这个原因，相关系数有时也称为总（或毛，gross）相关系数，其意思是包含了由一切影响带来的相关性。

相关系数有时亦称为简单相关系数或皮尔逊（ Pearson ）相关系数或零阶偏相关系数

（2）引例

$x_{1}$ ——家庭的饮食支出， $x_{2}$ ——家庭的衣着支出， $x_{3}$ ——家庭的收入

$x_{1},x_{2}$ 之间存在着较强的正相关性
$x_{3}$ 分别与 $x_{1},x_{2}$ 的强正相关性导致了 $x_{1}$ 和 $x_{2}$ 的较强正相关性
如果我们能用某种方式把 $x_{3}$ 的影响消除掉，或者说控制了 $x_{3}$ （即 $x_{3}$ 保持不变），则 $x_{1}$ 和 $x_{2}$ 之间（反应净关系）的相关性可能就很不一样了，很有可能会显示负相关性。
【注】为了更好地理解本例，我们可设想某地区的这样两个样本：样本1由贫富悬殊的100户家庭组成，其 $x_{1}$ 和 $x_{2}$ 之间一般会有非常强的正相关性；样本2由 $x_{3}$ 基本相同的100户家庭组成， $x_{1}$ 和 $x_{2}$ 间的相关性一般会比较小或者为负。可以想象，在样本1和样本2中，消除了 $x_{3}$ 影响后的 $x_{1}$ 和 $x_{2}$ 之间的相关性一般会比较接近，且样本2中的 $x_{1}$ 和 $x_{2}$ 间的相关性往往不太受 $x_{3}$ 的影响

（3）定义

将 $x,\mu,\Sigma(>0),S$ 剖分如下：

称 $\Sigma_{11.2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ 为给定 $x_{2}$ 时 $x_{1}$ 的偏协方差矩阵。记 $\Sigma_{11.2}=(\sigma _{ij.k+1,\cdots ,p})$ ，称 $\sigma _{ij.k+1,\cdots ,p}$ 为偏协方差，它是剔除了 $x_{2}=(x_{k+1},\cdots,x_{p})^{'}$ 的（线性）影响之后， $x_{i},x_{j}$ 之间的协方差。

给定 $x_{2}$ 时 $x_{i},x_{j}$ 的偏相关系数定义为

$\rho _{ij.k+1,\cdots,p}=\frac{\sigma _{ij.k+1,\cdots,p}}{\sqrt{\sigma _{ii.k+1,\cdots,p}}\sqrt{\sigma _{jj.k+1,\cdots,p}}},1\leqslant i,j\leqslant k,\Sigma_{11.2}=(\sigma _{ij.k+1,\cdots,p})$

【注1】 $\rho _{ij.k+1,\cdots,p}$ 度量了剔除 $x_{k+1},\cdots,x_{p}$ 的（线性）影响后， $x_{i}$ 和 $x_{j}$ 间相关关系的强弱
【注2】对于多元正态变量，由于 $\Sigma_{11.2}$ 也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而 $\rho _{ij.k+1,\cdots,p}$ 同时也度量了在 $x_{k+1},\cdots,x_{p}$ 给定的条件下 $x_{i}$ 和 $x_{j}$ 间相关关系的强弱
【注3】当 $x_{1}$ 和 $x_{2}$ 不相关（即 $\Sigma_{12}=0$ 时）， $\Sigma_{11.2}=\Sigma_{11}$ ，从而 $\rho _{ij.k+1,\cdots,p}=\rho _{ij}$

（4）一阶偏相关系数

可直接由相关系数算得，设 $x_{1},x_{2},x_{3}$ 是三个随机变量，则有：

$\rho _{12.3}=\frac{\rho _{12}-\rho _{13}\rho _{23}}{\sqrt{1-\rho _{13}^{2}}\sqrt{1-\rho _{23}^{2}}}$

$\rho _{13.2}=\frac{\rho _{13}-\rho _{12}\rho _{23}}{\sqrt{1-\rho _{12}^{2}}\sqrt{1-\rho _{23}^{2}}}$

$\rho _{23.1}=\frac{\rho _{23}-\rho _{12}\rho _{13}}{\sqrt{1-\rho _{12}^{2}}\sqrt{1-\rho _{13}^{2}}}$

【注1】 $\rho _{12}=0$ 并不意味着 $\rho _{12.3}=0$ ，反之亦然

【注2】 $\rho _{12},\rho _{12.3}$ 未必同号，且大小无必然规律

（5）偏相关系数一般递推公式

$\rho _{ij.k+1,\cdots,p}=\frac{ \rho _{ij.k+2,\cdots,p}-\rho _{i.k+1,k+2,\cdots,p}\rho _{j.k+1,k+2,\cdots,p}}{\sqrt{1-\rho _{i.k+1,k+2,\cdots,p}^2}\sqrt{1-\rho _{j.k+1,k+2,\cdots,p}^2}}$

（6）偏相关系数的MLE

在多元正态性的假设下， $\rho _{ij.k+1,\cdots,p}$ 的MLE为：

$r_{ij.k+1,\cdots,p}=\frac{s_{ij.k+1,\cdots,p}}{\sqrt{s_{ii.k+1,\cdots,p}s_{jj.k+1,\cdots,p}}},1\leqslant i,j\leqslant k$

其中， $S_{11.2}=S_{11}-S_{12}S_{22}^{-1}S_{21}=(s_{ij.k+1,\cdots,p})$ ，称 $r_{ij.k+1,\cdots,p}$ 为样本偏相关系数。

（7）偏协方差矩阵的导出

五、均值和(n-1)S的抽样分布

1.均值的抽样分布

（1）正态总体

设 $x\sim N_{p}(\mu,\Sigma),\Sigma>0,x_{1},x_{2},\cdots,x_{n}$ 是从总体中抽取的一个样本，则 $\bar{x}\sim N_{p}(\mu,\frac{1}{n}\Sigma)$

（2）非正态总体（多元中心极限定理）

设 $x_{1},x_{2},\cdots,x_{n}$ 是来自总体的一个样本， $\mu,\Sigma$ 存在，则当很大且相对于也很大时， $\sqrt{n}(\bar{x}-\mu)$ 近似服从 $N_{p}(0,\Sigma)$ 。

2.(n-1)S的抽样分布

（1）矩阵的拉直

设随机矩阵 $X=(x_{1},x_{2},\cdots,x_{q})=(x_{ij}):p*q$ ，将的列向量一个接一个组成一个长向量，记作 vec(X) ，即 $vec(X)=\begin{pmatrix} x_{1}\\ x_{2}\\ \vdots \\ x_{q} \end{pmatrix}$ ，称“vec”为拉直运算。当是阶对称矩阵时，因 $x_{ij}=x_{ji}$ ，故只需取其下三角部分组成一个缩减了的常向量，记作 vech(X) ，即

$vech(X)=(x_{11},x_{21},\cdots,x_{p1},x_{22},x_{32},\cdots,x_{p2},\cdots,x_{p-1,p-1},x_{p,p-1},x_{pp})^{'}$

随机矩阵X的分布是指 vec(X) 或（当 $X^{'}=X$ 时） vech(X) 的分布，拉直运算将矩阵分布问题转化为了向量分布问题。

（2）威沙特分布的定义

设随机向量 $x_{1},x_{2},\cdots,x_{n}$ 独立同分布于 $N_{p}(0,\Sigma),\Sigma>0,n\geqslant p$ ，则阶矩阵 $W=\sum_{i=1}^{n}x_{i}x_{i}^{'}$ 的分布称为自由度为的（阶）威沙特 Wishart 分布，记作 $W_{p}(n,\Sigma)$ 。

当 $p=1,\Sigma=\sigma^2=1$ 时，显然有 $W=\sum_{i=1}^{n}x_{i}^2\sim\chi ^2(n)$ ，即有 $W_{1}(n,1)=\chi ^2(n)$ 。

因此，威沙特 Wishart 分布是卡方分布在多元场合下的一种推广。

（3）威沙特分布的性质

设 $W_{i}\sim W_{p}(n_{i},\Sigma),i=1,2,\cdots,k$ 且相互独立，则 $\sum_{i=1}^{k}W_{i}\sim W_{p}(\sum_{i=1}^{k}n_{i},\Sigma)$
设 $W\sim W_{p}(n,\Sigma)$ ，为常数矩阵，则 $CWC^{'}\sim W_{q}(n,C\Sigma C^{'})$

（4） (n-1)S的抽样分布

设 $x_{1},x_{2},\cdots,x_{n}$ 是取自 $N_{p}(\mu,\Sigma),\Sigma>0$ 的一个样本， n>p ，则可以证明 $\bar{x}$ 和相互独立，且有 $(n-1)S\sim W_{p}(n-1,\Sigma)$ 。

2025年【应用多元统计分析】CH3 多元正态分布

一、多元正态分布的定义

1.定义

2.二元正态分布

二、多元正态分布的性质

【property1*】

【property2】

【property3】

【property4】

【property5】

【property6】

【property7】

【property8*】

【property9*】

【property10*】

【property11】

三、极大似然估计及估计量的性质

前言

1.极大似然估计

（1）极大似然估计介绍

（2）均值和协差阵的极大似然估计

（3）相关系数的极大似然估计

2.估计量的性质

（1）无偏性

（2）有效性

（3）一致性

（4）充分性

（5）MLE的不变性

四、复相关系数和偏相关系数

1.复相关系数

（1）前言

（2）定义

（3）复相关系数的MLE

2.偏相关系数

（1）前言

（2）引例

（3）定义

（4）一阶偏相关系数

（5）偏相关系数一般递推公式

（6）偏相关系数的MLE

（7）偏协方差矩阵的导出

五、均值和(n-1)S的抽样分布

1.均值的抽样分布

（1）正态总体

（2）非正态总体（多元中心极限定理）

2.(n-1)S的抽样分布

（1）矩阵的拉直

（2）威沙特分布的定义

（3）威沙特分布的性质

（4） (n-1)S的抽样分布

相关推荐

**【property1*】**

**【property8*】**

**【property9*】**

**【property10*】**