数学期望、条件数学期望、方差、标准差、协方差、相关系数、大数定律、中心极限定理

数字特征

• 位置参数
  • 期望：平均数
  • 中位数：若为\(m\)，则：
    \[P(X\geqslant m)\geqslant \frac{1}{2}\]
    \[P(X\leqslant m)\geqslant \frac{1}{2}\]
    中位数不唯一，可以是一个区间
  • 众数：密度函数的最大值
    
• 刻度参数
  • 方差
  • 标准差
  • 极差
• 其他
  • 矩
  • 协方差
  • 相关系数

数学期望

定义1

设\(X\)为离散型随机变量，\(P(X=x_i)=p_i，i=1,2,...\)，

若\(\sum\limits_{i=1}^{\infty}p_i \left| x_i \right|<\infty\)，称 \(\sum\limits_{i=1}^{\infty}p_i \left| x_i \right| \)为随机变量\(X\)的数学期望，记为\(EX\)。

注： \(EX\)是一个数，而不是一个随机变量。

定义2

设\(X\)为连续型随机变量，\(X\backsim f(x)\)。

若\(\int{\left| x \right| f(x)\,dx}<\infty\)，称\(\int{xf(x)\,dx}\)为随机变量\(X\)的期望，记为\(EX\)。

性质

1. 线性性
   
   设\(X_1,X_2,...,X_n\)为随机变量，\(a_1,a_2,...,a_n\)为一组常数，则\[E(\sum\limits_{i=1}^{\infty}a_iX_i)=\sum\limits_{i=1}^{\infty}a_iEX_i\]

2. 若\(X,Y\)独立，则\[E(XY)=(EX)(EY)\]
   
   \(E(XY)=(EX)(EY)\nRightarrow X,Y\)独立。

3. 随机变量的函数的数学期望
   \(Y=g(X_1,X_2,...,X_p)\\(X_1,X_2,...,X_p)\backsim f(x_1,x_2,...,x_p)\)
   
   则\[\begin{aligned}EY&=\int yf_Y(y)\,dy\\&=\int ...\int g(x_1,x_2,...,x_p)f(x_1,x_2,...x_p)\,dx_1dx_2,...,dx_p\end{aligned}\]
   
   对于\(X,Y\backsim f_1(x)f_2(y),XY=g\)，
   
   \[\begin{aligned}E(XY)&=\int {xyf_1(x)f_2(y)\,dxdy}\\&=\int{xf_1(x)\,dx}\cdot \int{yf_w(y)\,dy}\\&=EXEY\end{aligned}\]

4. 若\(X\geqslant Y\)，则\(EX\geqslant EY\)

条件数学期望

\((X,Y)\backsim f(x,y)\)，给定\(Y=y\)下，\(X\)的条件密度为\[f_{X|Y}(x|y)=\frac{f(x,y)}{f_2(y)}\]
记\[\int{xf_{X|Y}(x|y)\,dx}\]为给定\(Y=y\)下，随机变量\(X\)的条件期望，记为\(E(X|Y=y)\)。

在条件期望中\(E(X|Y=y)\)与\(y\)的取值有关，因此\(E(X|Y=y)\)是\(y\)的函数。若记\(E(X|Y=y)=\varphi(Y)\)，即为随机变量\(Y\)的一个函数。

\[\begin{aligned}E\varphi(Y)&=\int{\varphi(y)f_2(y)\,dy}\\&=\int(\int{xf_{X|Y}(x|y)\,dx})f_2(y)\,dy\\&=\iint{x\frac{f(x,y)}{f_2(y)}f_2(y)}\,dxdy\\&=\iint{xf(x,y)}\,dxdy\\&=\int{xf_1(x)}\,dx\\&=EX\end{aligned}\]
即：\[EX=E(E(X|Y))\]
称为条件期望的平滑公式。

方差、标准差

方差

\(X\)为随机变量，称\(E(X-EX)^2\)为随机变量\(X\)的方差。记为\(Var(X)\)或\(DX\)。

\(\sqrt{E(X-EX)^2}\)为标准差，记为\(\sigma\)，\(\sigma\)可以保证单位量纲一致。

\[E(X-EX)^2=\int{(x-\mu)^2f(x)}\,dx\]
\[\begin{aligned}E(X-\mu)^2&=E(X^2-2\mu X+\mu^2)\\&=EX^2-2\mu^2+\mu^2\\&=EX^2-(EX)^2\end{aligned}\]
对离散型的随机变量：

\(P(X=x_i)=p_i,i=1,2,...\)

\[EX=\sum{x_ip_i}\]
\[\begin{aligned}Var(X)&=E(X-EX)^2\\&=\sum\limits_{i=1}^{\infty}(x_i-\mu)^2p_i\\&=\sum\limits_{i=1}^{\infty}x_i^2p_i-(\sum x_ip_i)^2\\&=EX^2-(EX)^2\end{aligned}\]

方差描述了：

1. 波动程度
2. 信息
3. 风险

方差的性质

1. 常数的方差为0，即\(Var(c)=0\)
2. \(Var(aX+b)=a^2Var(X)\)
3. 若\(X,Y\)独立，则：\[Var(X\pm Y)=Var(X)+Var(Y)\]推广：若\(X_1,X_2,...,X_n\)相互独立，则：\[Var(\sum\limits_{i=1}^{n}{a_iX_i})=\sum\limits_{i=1}^{n}a_i^2Var(X_i)\]
   

切比雪夫不等式

设\(Y\geqslant 0\)，则对\(\forall \varepsilon >0\)，
\[P(Y\geqslant \varepsilon)\leqslant \frac{EY}{\varepsilon}\]
设\(Y\backsim f(y)\)，\[\begin{aligned}E(Y)&=\int_{0}^{+\infty}{yf(y)}\,dy\\ &\geqslant \int_{\varepsilon}^{\infty}yf(y)\,dy\\&\geqslant \varepsilon \int_{\varepsilon}^{\infty}f(y)\,dy\\&=\varepsilon P(Y\geqslant \varepsilon)\end{aligned}\]

特例：取\(Y=(X-EX)^2,\varepsilon=\varepsilon_1^2\)，则\[P(\left| X-EX \right|^2\geqslant \varepsilon_1^2)\leqslant\frac{Var(X)}{\varepsilon_1^2}\\ \iff P(\left| X-EX \right|\geqslant \varepsilon_1)\leqslant \frac{Var(X)}{\varepsilon_1^2} \]

标准差

\[\sigma=\sqrt{Var(X)}\]
\[Y=\frac{X-EX}{\sigma},EY=0,Var(Y)=1\]称为随机变量\(X\)的标准化。标准化的目的是为了与正太随机变量做比较。

矩

\(k\)阶原点矩\(EX^k\)：\(f(X)=X^k\)

\(k\)阶中心矩\(E(X-EX)^k\)：\(f(X)=(X-EX)^k\)

偏度系数

\[X\backsim N(\mu,\sigma^2),\frac{\mu_3}{\sigma^3}\]
\[\frac{E(X-EX)^3}{(E(X-EX)^2)^{\frac{3}{2}}}\overset{\triangle}{=}\frac{\mu_3}{\sigma^3}\]

峰度系数

是否都集中在均值附近

\[\frac{E(X-EX)^4}{\sigma^4}\overset{\triangle}{=}\frac{\mu_4}{\sigma^4}\]
若\(X\backsim N(\mu,\sigma^2)\)，则\[\frac{\mu_4}{\sigma^4}=3\]

协方差和相关系数

描述两个随机变量之间的关系

\(X,Y\)的混合矩

混合原点矩：\(E(X^n)(Y^n)\)

混合中心矩：\(E(X-EX)^n(Y-EY)^n\)

协方差

\[Cov(X,Y)\overset{\triangle}{=}E(X-EX)(Y-EY)\]
若\(Y=X\)，则
\[Cov(X,X)=Var(X)\]

性质

1. \(Cov(aX+b,cY+d)=acCov(X,Y)\)

2. \(Cov(aX+bY,cX+dY)=\left(\begin{array}{ccc}a & b
   \end{array}\right)\left(
   \begin{array}{ccc}
   Var(X) & Cov(X,Y) \\
   Cov(X,Y) & Var(Y)
   \end{array}
   \right)\left(\begin{array}{ccc}
   c \\
   d
   \end{array}\right)\)
   特例：\[\begin{aligned}Cov(aX+bY,aX+bY)&=Var(aX+bY)\\
   &=\left(\begin{array}{ccc}
   a & b
   \end{array}\right)\left(
   \begin{array}{ccc}
   Var(X) & Cov(X,Y) \\
   Cov(X,Y) & Var(Y)
   \end{array}
   \right)\left(\begin{array}{ccc}
   a \\
   b
   \end{array}\right)
   \end{aligned}\]
   是二次型

3. \(X,Y\)独立，则\(Cov(X,Y)=0\)
   
   \(Cov(X,Y)=0\)，称随机变量\(X,Y\)不相关
   
   独立\(\implies\) 不相关
   
   不相关\(\nRightarrow\) 独立

4. \(Cov^2(X,Y)\leqslant Var(X)Var(Y)\)
   
   等号成立\(\iff X,Y\)之间有着严格的线性关系（例如\(Y=aX+b\)）

相关系数

\(Corr(X,Y)=\rho_{X,Y}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}\)

性质

\(\left| \rho_{X,Y} \right| \leqslant 1\)无量纲

\(\rho_{X,Y}=0 \implies X,Y\)不是线性相关

\(\left\{
\begin{aligned}
\rho=1 \implies Y=a+bX ,b>0 \\
\rho=-1 \implies Y=a+bX ,b<0
\end{aligned}
\right.\)

\(\left\{
\begin{aligned}
0<\rho_{XY}<1 &\implies X与Y正相关\\
-1<\rho_{XY}<0 &\implies X与Y负相关
\end{aligned}
\right.\)

\(X,Y\)独立\(\iff \rho=0\)

\(\rho\)可以看成向量\(\vec{X},\vec{Y}\)的夹角的余弦，即当\(\rho_{XY}=0,X\perp Y\)

大数定律和中心极限定理

大数定律（弱大数定律）

\(X_1,X_2,...,X_n\)是独立同分布的随机变量，设\(EX_i=\mu\)，\(Var(X_i)=\sigma^2\)

令\(\bar X_n=\frac{1}{n}\sum\limits_{i=1}^{n}X_i\)（样本均值），则当

\(n \to \infty\)时，对\(\forall \epsilon >0\)， \[P(\left| \bar X -\mu \right|>\epsilon)\to 0\]

也记为\[\bar X_n \overset{P}{\to} \mu\]

证明过程：

由切比雪夫不等式：\(\forall \epsilon >0\)
\[P(\left| \bar X -\mu \right|\geqslant \epsilon)\leqslant \frac{Var(\bar X-\mu)}{\epsilon^2}\\\]易得

\[E\bar X_n=\mu,Var(\bar X_n)=\frac{\sigma^2}{n}\]
将\(\bar X\)标准化：
\[\frac{\bar X_n-\mu}{\sigma/\sqrt{n}}=Y\\
\lim\limits_{n\to \infty}{\frac{Var(\bar X-\mu)}{\epsilon^2}}=\lim\limits_{n\to \infty}{\frac{\sigma}{n\epsilon^2}}\to 0
\]

这里的证明有点问题，回头再改。

中心极限定理

当\(X_1,X_2,...,X_n\)为独立同分布的随机变量（连续或独立）

\[EX_i=\mu,Var(X_i)=\sigma^2\]
则\[P(\frac{X_1+X_2+...+X_n-N\mu}{\sqrt{n}\sigma}\leqslant x)\to \Phi(x),(n\to \infty)\]
若设\(X_1+X_2+...+X_n=S_n\)，则\(\frac{X_1+X_2+...+X_n-N\mu}{\sqrt{n}\sigma}\)为\(S_n\)的标准化。

即：\(X_1,X_2,...,X_n\)的和呈现正态分布的规律。

注：条件可以放宽（可以不是独立同分布等）

\[\begin{aligned}\frac{X_1+X_2+...+X_n-N\mu}{\sqrt{n}\sigma}&=\frac{\frac{X_1+X_2+...+X_n}{n}-\mu}{\frac{\sigma}{\sqrt{n}}}\\&=\frac{\bar X_n-\mu}{\sigma/\sqrt{n}}\end{aligned}\]

若\(X_i\)服从\((0,1)\)分布，则：
\[S_n\backsim B(n,p),\mu =p,\sigma^2=pq,(q=1-p)\]
所以，当\(X_i\backsim B(0,1)\):
\[P(\frac{X-np}{\sqrt{npq}}\leqslant x)\approx \Phi(x)\]
所以
\[\begin{aligned}P(k_1\leqslant X\leqslant k_2)&=P(\frac{k_1-np}{\sqrt{npq}}\leqslant \frac{X-np}{\sqrt{npq}}\leqslant \frac{k_2-np}{\sqrt{npq}})\\&\approx\Phi(\frac{k_2-np}{\sqrt{npq}})-\Phi(\frac{k_1-np}{\sqrt{npq}})\end{aligned}\]

提高精度（逼近分布曲线的\(y\)点的面积）：
\[P(k_1\leqslant X\leqslant k_2)=P(k-\frac{1}{2} < X\leqslant k_2+\frac{1}{2})\]
在分布靠中心处精度较高，两端尾部的精度低