大数定律与中心极限定理

列维-林德伯格中心极限定理

当样本足够大时,无论总体服从什么分布,样本均值们服从正态分布。设总体的 EX=\mu,DX=\sigma^2 ,则样本均值们:

\overline{X} \sim N\left(\mu,\frac{\sigma^2}{n}\right)

这里的均值和总体均值一致,均值的方差更小,符合直觉。标准化一下:

\frac{\overline{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \sim N(0,1)

根据分布函数的定义有:

\lim _{n \rightarrow \infty}P\left(\frac{\overline{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\leqslant x\right) =\Phi(x)

分子分母同时乘n,则有:

\lim _{n \rightarrow \infty} P\left\{\frac{\sum_{i=1}^{n} X_{i}-n \mu}{\sqrt{n} \sigma} \leqslant x\right\}=\Phi(x)

棣莫弗-拉普拉斯中心极限定理

当n足够大时,二项分布趋于正态分布。

Y_{n} \sim B(n, p)

\lim _{n \rightarrow \infty}Y_{n} \sim N(np, np(1-p))

根据分布函数的定义有:

\lim _{n \rightarrow \infty} P\left\{\frac{Y_{n}-n p}{\sqrt{n p(1-p)}} \leqslant x\right\}=\Phi(x)

依概率收敛

X_{1}, X_{2}, \cdots, X_{n}, \cdots 是一个随机变量 序列, a 是一个常数, 若对任何正数 \varepsilon , 有

\lim _{n \rightarrow \infty} P\left\{\left|X_{n}-a\right|<\varepsilon\right\}=1

则称序列 X_{1}, X_{2}, \cdots, X_{n}, \cdots 依概率收敛于 a , 记为 X_{n} \stackrel{p}{\longrightarrow} a

其实就是当n无穷大时, X_{n} 趋于 a 。把它理解成极限就行 \lim _{n \rightarrow \infty}X_{n} = a

辛钦大数定律

X_{1}, X_{2}, \cdots 独立同分布,期望为 \mu ,当数据足够多时,均值趋于期望:

\frac{1}{n} \sum_{i=1}^{n} X_{i}\stackrel{P}{\longrightarrow}\mu

伯努利大数定律

假设 \mu_{n} 是n重伯努利试验中事件A发生的次数,在每次试验中A发生的概率为p,则:

\frac{n_n}{n}\stackrel{P}{\longrightarrow}p

举例子,射击运动员命中的概率为0.9,射击1000次中912次,此时 \frac{n_n}{n}=\frac{912}{1000} 。当射击次数 n \rightarrow \infty \frac{n_n}{n}\stackrel{P}{\longrightarrow}0.9

切比雪夫不等式

讲切比雪夫不等式之前先讲一个经验,对于正态分布来说,离中心越近面积越大,比如距离中心 \sigma 趋于的面积大约68%;距离中心 2\sigma 趋于的面积大约95%,既:

P\{|x-E(x)| \leqslant \sigma\}=68\%

P\{|x-E(x)| \leqslant 2 \sigma\}=95\%

我们也可以把不等号换个方向:

P\{|x-E(x)| \geqslant \sigma\}=32\%

P\{|x-E(x)| \geqslant 2 \sigma\}=5\%

切比雪夫不等式讲这件事扩展到任何分布,对任意 \varepsilon>0 ,有:

P(|X-E(X)| \geqslant \varepsilon) \leqslant \frac{D(X)}{\varepsilon^{2}}

证明:记 D:|x-E(x)| \geqslant \varepsilon , 且 \frac{|x-E|(x) \mid}{\varepsilon} \geqslant 1

\begin{aligned} & P(|X-E(x)| \geqslant \varepsilon)=\int_{D} f(x) d x \\ \leqslant & \int_{D}\left(\frac{|x-E(x)|}{\varepsilon}\right)^{2} f(x) d x \\ =& \frac{1}{\varepsilon^{2}} \int_{D}(x-E(x))^{2} f(x) d x \\ \leqslant & \frac{1}{\varepsilon^{2}} \int_{-\infty}^{+\infty}(x-E(x))^{2} f(x) d x \\ =& \frac{1}{\varepsilon^{2}} D(x) \end{aligned}

切比雪夫大数定律

X_{1}, X_{2}, \cdots 独立,存在期望及方差,且方差有界 ,则当n无穷大时,均值依概率收敛于均值的期望:

\frac{1}{n} \sum_{i=1}^{n} X_{i}\stackrel{P}{\longrightarrow}E\left(\frac{1}{n} \sum_{i=1}^{n} X_{i}\right)

证明,根据切比雪夫不等式:

P(|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E(\frac{1}{n} \sum_{i=1}^{n} X_{i})| \geqslant \varepsilon) \leqslant \frac{D(\frac{1}{n} \sum_{i=1}^{n} X_{i})}{\varepsilon^{2}}

\frac{D(\frac{1}{n} \sum_{i=1}^{n} X_{i})}{\varepsilon^{2}}=\frac{DX_i}{n\varepsilon^{2}}=\frac{C}{n\varepsilon^{2}}

P(|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E(\frac{1}{n} \sum_{i=1}^{n} X_{i})| \leqslant \varepsilon) \geqslant 1-\frac{C}{n\varepsilon^{2}}

则:

\lim _{n \rightarrow \infty}P(|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E(\frac{1}{n} \sum_{i=1}^{n} X_{i})| \leqslant \varepsilon) \geqslant 1

因为概率:

0\leqslant p\leqslant 1

所以:

\lim _{n \rightarrow \infty}P(|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E(\frac{1}{n} \sum_{i=1}^{n} X_{i})| \leqslant \varepsilon) = 1

posted @ 2024-04-11 00:25:05
评论加载中...
发表评论