概率论

image

概率

即使没学过概率的人,凭感觉都知道,一件事发生的次数占总次数越多,这件事发生的概率越大,即:

其中“这件事”叫随机事件,“所有事发生的次数”叫做样本空间,“这件事发生的次数”是样本空间中的一个子集。这种概率叫做古典概型。

名称 事件 概率
古典概型 离散 P(这件事)=\frac{这件事发生的次数}{所有事发生的次数}
几何概型 连续 P(这件事)=\frac{事件所占面积}{总面积}

古典概型求随机事件样本个数和总体样本个数的时候比较复杂,这里列举常见的几种情况:

古典概型常见问题 方式 样本空间
将n个质点随机地分配到N个盒中 每盒可容纳任意多个质点 N^n
每盒容纳至多一个质点 A^n_N
自含N个元素的总体中n次简单随机抽样 有放回取n次 N^n
无放回取n次 A^n_N
任取n个 C^n_N

事件与事件的关系

用对立 \overline { A \cap B } = \overline { A } \cup \overline { B },\overline { A \cup B } = \overline{ A } \cap \overline { B },(长杠变短杠,开口换方向)
P(A) = 1-P(\overline { A })
用互斥 A \cup B=A \cup \bar{A} B=B \cup A \bar{B}=A \bar{B} \cup A B \cup \overline{A}B
B_{1}, B_{2}, B_{3} 为完备事件组, A=A B_{1} \cup A B_{2} \cup A B_{3}
P(A \bar{B})=P(A-B)=P(A)-P(A B)

P(A+B)=P(A)+P(B)-P(A B)
P(A+B+C)=P(A)+P(B)+P(C)-P(A B)-P(B C)-P(A C)+P(A B C)

A_{1}, A_{2}, \cdots, A_{n}(n>3) 两两互斥,则
P\left(\bigcup_{i=1}^{n} A_{i}\right)=\sum_{i=1}^{n} P\left(A_{i}\right),(和的概率等于概率的和)

用独立

A_{1}, A_{2}, \cdots, A_{n} 相互独立,则
P\left(A_{1} A_{2} \cdots A_{n}\right)=P\left(A_{1}\right) P\left(A_{2}\right) \cdots P\left(A_{n}\right)

A_{1}, A_{2}, \cdots, A_{n} 相互独立,则
\begin{aligned} P\left(\bigcup_{i=1}^{n} A_{i}\right)&=1-P\left(\overline{\bigcup_{i=1}^{n} A_{i}}\right)\\ &=1-P\left(\bigcap_{i=1}^{n} \overline{A_{i}}\right) \\&=1-\prod_{i=1}^{n} P\left(\overline{A_{i}}\right)\\ &=1-\prod_{i=1}^{n}\left[1-P\left(A_{i}\right)\right]\end{aligned}

用条件 P ( A \mid B ) = \frac { P ( AB  ) } { P ( B ) }
P ( A B ) = P ( A \mid B ) P ( B )
P ( A ) = \sum _ { i = 1 } ^ { n } P \left( A \mid B _ { i } \right) P \left( B _ { i } \right)
P ( A \mid B ) = \frac { P ( B \mid A ) P ( A ) } { P ( B ) }
用不等式 P ( AB ) \leq P ( A ) \leq P ( A+B )
用最值 \{\max \{X, Y\} \leqslant a\}=\{X \leqslant a\} \cap\{Y \leqslant a\}
\{\max \{X, Y\}>a\}=\{X>a\} \cup\{Y>a\}
\{\min \{X, Y\} \leqslant a\}=\{X \leqslant a\} \cup\{Y \leqslant a\}
\{\min \{X, Y\}>a\}=\{X>a\} \cap\{Y>a\}
\{\max \{X, Y\} \leqslant a\} \subset\{\min \{X, Y\} \leqslant a\}
\{\min \{X, Y\}>a\} \subset\{\max \{X, Y\}>a\}

独立是指两个事件不相关,两个事件完全没有联系。
互斥是指一个事件发生,另一个事件不发生。

image
image

分布律与概率密度

数学家不满足于计算某一个随机事件的概率,而是想对整体有一个了解。随机事件并不是数字,为了方便研究,将事件映射到实数域:

X=X(随机事件)

映射后的数字叫做随机变量,这么做之后,用横轴代表随机事件,纵轴代表概率,作图。

对于离散型随机变量,得到如下图像,叫做分布律:

image
注:分布律经常以表格、矩阵的形式给出。

对于连续型随机变量,得到如下图像,对应区间的面积表示概率,这个函数被成为概率密度:

image

由概率之和等于1,得:

离散型 \sum_{i} p_{i}=1
连续型 \int_{-\infty}^{+\infty} f(x) \mathrm{d} x=1

分布函数

分布律与概率密度表达所有概率的大小,我们可以通过“观察”这两幅图,来了解概率的分布情况。

但是“观察”不利于表达,分布函数可以将分布情况转化为数值,从而定量反应概率分布情况:

F(x)=\begin{cases}\underset{x_{i} \leq x}{\sum} p_{i} & X \sim p_{i} \\  \\ \int_{-\infty}^{x} f(t) d t & X \sim f(x)\\  \\ P\{X\leq x\} & X 是混合型\end{cases}

分布函数是概率的累加,所以有单调不减、右连续、介于0~1直接这三条性质。

考试常考分布函数性质的推广:

  1. a+b=1,aF_1+bF+2是分布函数
  2. F_1F_2是分布函数
  3. f_1F_2+f_2F_1是概率密度函数

常见概率分布

离散型:

名称 概率 期望 方差
0-1分布 X \sim\left(\begin{array}{cc}1 & 0 \\p & 1-p\end{array}\right) EX=p DX=(1-p)p
二项分布 P\{X=k\}=C_n^k p^k (1-p)^{n-k} EX=np DX=np(1-p)
几何分布 P\{X=k\}=p (1-p)^{k-1} EX=\frac{1}{p} DX=\frac{1-p}{p^2}
柏松分布 P\{X=k\}=\frac{\lambda^{k}}{k !} \mathrm{e}^{-\lambda} EX=\lambda DX=\lambda

连续型:

名称 概率 分布函数 期望 方差
均匀分布 f(x)=\left\{\begin{array}{ll}\frac{1}{b-a}, & a<x<b \\ 0, & \text { 其他 }\end{array}\right. F(x)=\left\{\begin{array}{ll}0, & x<a \\ \frac{x-a}{b-a}, & a \leqslant x<b \\ 1, & x \geqslant b\end{array}\right. EX=\frac{a+b}{2} DX=\frac{(b-a)^2}{12}
指数分布 f(x)=\left\{\begin{array}{ll}\lambda \mathrm{e}^{-\lambda x}, & x>0 \\ 0, & \text { 其他 },\end{array}\right. F(x)=\left\{\begin{array}{ll}1-\mathrm{e}^{-\lambda x}, & x \geqslant 0 \\ 0, & x<0\end{array}\right. EX=\frac{1}{\lambda} DX=\frac{1}{\lambda^2}
正态分布 f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \mathrm{e}^{-\frac{(x-\mu)^{2}}{2 \sigma}} EX=\mu DX=\sigma^2
标准正态分布 \varphi(x)=\frac{1}{\sqrt{2 \pi} } \mathrm{e}^{-\frac{x^2}{2}} \varPhi(x) = \int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi} } \mathrm{e}^{-\frac{t^2}{2}} d t EX=0 DX=1

多维随机变量

联合概率是指多个随机变量同时发生的概率。

多个离散型随机变量的概率称为联合分布律,联合分布律的图形不太好画,但是完全可以想象,它是二维的平米上面几个点上有概率。下面我们用表格列举出来:

image

多个连续型随机变量的概率称为联合概率密度,下图的x轴和y轴是随机变量,z轴为联合概率密度:
image

为了定量反应多个随机变量的概率分布情况,定义联合分布函数:

F(x,y)=\begin{cases}\underset{x_{i} \leq x,y_j \leq y}{\sum} p_{ij} & (X,Y) \sim p_{ij} \\  \\ \int_{-\infty}^{x} du \int_{-\infty}^{y} f(u,v) d v & (X,Y) \sim f(x,y)\\  \\ P\{X\leq x,Y\leq y\} & (X,Y)是混合型\end{cases}

常见二维概率分布

二维均匀分布:

f(x, y)=\left\{\begin{array}{ll}\frac{1}{S_{D}}, & (x, y) \in D, \\ 0, & \text { 其他 },\end{array}\right.

二维正态分布:

f(x, y)= \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\left(\frac{x-\mu_{1}}{\sigma_{1}}\right)^{2}-2 \rho\left(\frac{x-\mu_{1}}{\sigma_{1}}\right)\left(\frac{y-\mu_{2}}{\sigma_{2}}\right)+\right.\right.\left.\left.\left(\frac{y-\mu_{2}}{\sigma_{2}}\right)^{2}\right]\right\}

边缘分布与条件分布

边缘分布

F_{X}(x)=F(x,+\infty)
F_{Y}(y)=F(+\infty, y)

p_{i \cdot} =\sum_{j} p_{i j}
p_{\cdot j}=\sum_{i} p_{i j}

f_{X}(x)=\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} y
f_{Y}(y)=\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} x

条件分布

P\left\{Y=y_{j} \mid X=x_{i}\right\}=\frac{P\left\{X=x_{i}, Y=y_{j}\right\}}{P\left\{X=x_{i}\right\}}=\frac{p_{i j}}{p_{i\cdot}}
P\left\{X=x_{i} \mid Y=y_{j}\right\}=\frac{P\left\{X=x_{i}, Y=y_{j}\right\}}{P\left\{Y=y_{j}\right\}}=\frac{p_{i j}}{p_{\cdot j}}

f_{Y \mid X}(y \mid x)=\frac{f(x, y)}{f_{X}(x)}
f_{X \mid Y}(x \mid y)=\frac{f(x, y)}{f_{Y}(y)}

期望与方差

E X=\begin{cases}\sum_{i} x_{i} p_{i}&X \sim p_{i} \\  \\ \int_{-\infty}^{+\infty} x f(x) \mathrm{d} x &X \sim f(x)\end{cases}

D X=E\left[(X-E X)^{2}\right]=\begin{cases}\sum_{i}\left(x_{i}-E X\right)^{2} p_{i}&X \sim p_{i} \\  \\ \int_{-\infty}^{+\infty}(x-E X)^{2} f(x) \mathrm{d} x &X \sim f(x)\end{cases}

协方差

协方差表达的是两个随机变量的偏差。例如:X是父母的身高,Y是孩子的身高。孩子的身高通常与父母的身高偏差比较小,即Cov(X,Y)比较小。

\operatorname{Cov}(X, Y) = E[(X-E X)(Y-E Y)]=\begin{cases}\sum_{i} \sum_{j}\left(x_{i}-E X\right)\left(y_{j}-E Y\right) p_{i j}&(X, Y) \sim p_{i j} \\  \\ \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty}(x-E X)(y-E Y) f(x, y) \mathrm{d} x &(X, Y) \sim f(x, y)\end{cases}

\operatorname{Cov}(X, Y)可作为衡量X,Y关系程度的出发点,但还需作些修正.首先,像衡量“程度”这种概念的数字,一般要求不超过1.协方差不一定满足这个要求,尤其是协方差的值与个体指标的单位有关.例如,X和Y分别为人的身高、体重,分别以米和千克为单位.若改用厘米和克为单位,则X和Y的值分别增大100和1000倍,而其协方差将增大100000倍!克服这一点的办法是进行规格化:

\rho_{X Y} \triangleq \frac{\operatorname{Cov}(X, Y)}{\sqrt{D X} \sqrt{D Y}}\left\{\begin{array}{l}
=0 \Leftrightarrow X, Y \text { 不相关 } \\
\neq 0 \Leftrightarrow X, Y \text { 相关. }
\end{array}\right.

\rho_{X Y}仅能反应X,Y的线性关系,不能反映曲线型相关,因此叫做线性相关系数

期望、方差、协方差的性质

期望:
E a=a, \quad E(E x)=E x
E(aX)=a E X
E(X+Y)=E X+E Y

方差:
D X=E X^{2}-(E X)^{2}
D c=0
D(aX)=a^{2} D X
D(X \pm Y)=D X+D Y \pm 2 \operatorname{Cov}(X, Y)

协方差:
\operatorname{Cov}(X, Y)=E(XY)-EXEY
\operatorname{Cov}(aX, bY) = ab\operatorname{Cov}(X, Y)
\operatorname{Cov}(X_1+X_2, Y) = \operatorname{Cov}(X_1, Y)+\operatorname{Cov}(X_2, Y)

posted @ 2021-04-30 22:25:56
评论加载中...

发表评论