跳转至

[2.x] 随机变量及其概率分布

约 1166 个字 预计阅读时间 6 分钟

随机变量是定义在样本空间 SS 上的实值单值函数。
常用大写字母 X,Y,ZX,Y,Z 来表示随机变量,用小写字母 x,y,zx,y,z 表示其取值

离散型随机变量

离散型随机变量(discrete random variable)
如果随机变量取有限个或可列个值,则此随机变量为离散型随机变量,而若其可能取值为 {xi}\{x_i\},则称 P{X=xk}=pk  ,  k=1,2,...P\{X=x_k\}=p_k\;,\;k=1,2,...XX概率分布律(probability mass function),也可以用列表的方式表达。
因为样本空间 S={X=x1,X=x2,...,X=xn...}S=\{X=x_1,X=x_2,\,...\,,X=x_n\,...\,\} 中各样本点两两不相容,所以:
1=P(S)=i=1+P(X=xi)=i=1+pi1=P(S)=\sum\limits_{i=1}^{+\infty}P(X=x_i)=\sum\limits_{i=1}^{+\infty}{p_i}


两点分布

如果随机变量 XX 的概率分布律为:

x 0 1
P 1-p p

P{X=k}=pk(1p)1k  ,      k=0  or  1 P\{X=k\}=p^k(1-p)^{1-k}\;,\;\;\;k=0\;or\;1

则称 XX 为服从参数为 pp 010-1 分布,也称为两点分布,并记为 XB(1,p)X\sim B(1,p) 或者 X01(p)X\sim 0-1(p)

定义伯努利(Bernoulli)试验为:在 nn 次独立重复试验中,每次只有 AAA\overline A 两种结果,且概率不变,则这一系列试验为伯努利试验。

二项分布

若随机变量 XX 表示 nn 重贝努力实验中事件A发生的次数,其概率分布律为:

P{X=k}=Cnkpk(1p)nk  ,    k=0,1,2,...,n P\{X=k\}={\rm C}_n^kp^k(1-p)^{n-k}\;,\;\;k=0,1,2,...,n

则称 XX 为服从参数为 (n,p)(n,p) 的二项分布(binomial distribution),并记为 XB(n,p)X\sim B(n,p)

根据二项式定理,二项分布有如下性质:

k=0nCnkpk(1p)nk=1 \sum\limits_{k=0}^n{\rm C}_n^kp^k(1-p)^{n-k}=1
  • 如果遇到来自于两点分布的总体的,容量为 nn 的样本的均值 X\overline X,则有 nX=i=1nXiB(n,p)n·\overline X=\sum\limits_{i=1}^n X_i \sim B(n,p)

泊松分布

如果随机变量 XX 的概率分布律为:

P(X=k)=eλλkk!  ,      k=0,1,2,... P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}\;,\;\;\;k=0,1,2,...

其中 λ>0\lambda > 0,则称 XX 服从参数为 λ\lambda 的泊松分布(Poisson distribution),记做 XP(λ)X \sim P(\lambda)

nn 足够大,pp 充分小(一般要求 p<0.1p<0.1),且 npnp 保持适当大小时,参数为 (n,p)(n,p) 的二项分布可以用泊松分布近似描述,其中 λ=np\lambda = np,即:

Cnkpk(1p)nkeλλkk!          (n,p<ε,λ=np) {\rm C}_n^kp^k(1-p)^{n-k} \sim \frac{e^{-\lambda}\lambda^k}{k!}\;\;\;\;\;(n\rightarrow\infty,p<\varepsilon,\lambda=np)

超几何分布

如果随机变量 XX 的概率分布律为:

P{X=k}=CakCbnkCa+bn  ,      k=l1,l1+1,...,l2 P\{X=k\}=\frac{{\rm C}_a^k{\rm C}_b^{n-k}}{{\rm C}_{a+b}^n}\;,\;\;\;k=l_1,l_1+1,...,l_2

则称 XX 为服从超几何分布(hypergeometric distribution),并记为 XH(n,a,p)X\sim H(n,a,p)

  • 其意义为,如:aa 白球,bb 红球,取 nn 次得到 XX 个白球

如果随机变量 XX 的概率分布律为:

P{X=k}=p(1p)k1  ,      k=1,2,... P\{X=k\}=p(1-p)^{k-1}\;,\;\;\;k=1,2,...

则称 XX 为服从参数为 pp 的几何分布(geometric distribution)


连续型随机变量

定义:设 XX 为随机变量,xx 为任意实数,函数 F(x)=P{Xx}F(x)=P\{X\leq x\} 为随机变量 XX概率分布函数,简称为分布函数(distribution function)。(离散随机变量同样可以有分布函数)

则有以下结论:

P{x1<Xx2}=P{Xx2}P{Xx1}=F(x2)F(x1) P\{x_1<X\leq x_2\}=P\{X\leq x_2\}-P\{X\leq x_1\}=F(x_2)-F(x_1)

XX离散型随机变量时,设 XX 的概率分布律为 P{X=xi}=pi  ,    i=1,2,...P\{X=x_i\}=p_i\;,\;\;i=1,2,...,则 XX 的分布函数为:

F(x)=P{Xx}=xixP{X=xi} F(x) = P\{X\leq x\}=\sum\limits_{x_i\leq x}P\{X=x_i\}

关于 F(x)F(x) 有以下结论:

  1. F(x)F(x) 单调不减;
  2. 0F(x)10\leq F(x) \leq 1F()=0F(-\infty)=0F(+)=1F(+\infty)=1
  3. F(x)F(x) 右连续,即 F(x+0)=F(x)F(x+0)=F(x)
  4. P(a<Xb)=F(b)F(a)P(a<X\leq b)=F(b)-F(a)

如果对于随机变量 XX,其分布函数F(x)F(x),若存在一个非负的实函数 f(x)f(x),使对于任意实数 xx,有:

F(x)=xf(t)dt F(x) = \int_{-\infty}^{x}f(t)dt

则称 XX连续型随机变量,并且称 f(x)f(x)XX概率密度函数(probability density function),简称为密度函数

关于 f(x)f(x) 有以下结论:

  1. f(x)0f(x) \geq 0
  2. f(x)dx=1\int_{-\infty}^{\infty}f(x)dx=1
  3. x1,x2R    (x1<x2)  ,    P{x1<Xx2}=F(x2)F(x1)=x1x2f(t)dt\forall x_1,x_2\in \mathbf{R}\;\;(x_1<x_2)\;,\;\;P\{x_1<X\leq x_2\}=F(x_2)-F(x_1)=\int^{x_2}_{x_1}f(t)dt
  4. f(x)f(x) 的连续点 xx 处,F(x)=f(x)F'(x)=f(x)
  5. P{X=a}=0P\{X=a\} = 0,即连续型随机变量任取一个定值的概率为零,因此连续型随机变量落在开区间与相应闭区间上的概率相等;

均匀分布

设随机变量 XX 就有密度函数:

f(x)={1ba,x(a,b)0,else f(x)=\begin{cases} \frac{1}{b-a}, & x\in(a,b) \\[1ex] 0, & \text{else} \end{cases}

则称 XX 服从区间 (a,b)(a,b) 上的均匀分布,并记为 XU(a,b)X\sim U(a,b)

而得到对应的分布函数为:

F(x)={0,x<axaba,ax<b1,xb F(x)=\begin{cases} 0, & x<a \\[1ex] \frac{x-a}{b-a}, & a\leq x<b \\[1ex] 1, & x\geq b \end{cases}

指数分布

若随机变量 XX 具有密度函数:

f(x)={λeλx,x>00x0 f(x)=\begin{cases} \lambda e^{-\lambda x}, & x>0 \\[1ex] 0,& x\leq0 \end{cases}

也有地方写成这样:

f(x)={1θe1θx,x>00x0 f(x)=\begin{cases} \frac{1}{\theta} e^{-\frac{1}{\theta} x}, & x>0 \\[1ex] 0,& x\leq0 \end{cases}

其中 λ>0\lambda > 0,则称 XX 服从参数为 λ\lambda 的指数分布(exponential distribution),记为 XE(λ)X\sim E(\lambda)

指数分布对应的分布函数为:

F(x)=xf(t)dt={1eλx,x>00x0 F(x)=\int_{-\infty}^{x}f(t)\mathrm{d}t= \begin{cases} 1-e^{-\lambda x}, & x>0 \\[1ex] 0,& x\leq0 \end{cases}

指数分布具有无记忆性,即 P(X>sX>t0)=P(X>st0)P(X>s | X>t_0)=P(X>s-t_0)

正态分布

如果随机变量 XX 具有密度函数:

f(x)=12πσe(xμ)22σ2  ,      x<+ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\;, \;\;\; |x|<+\infty

其中 σ>0  ,  μ<+\sigma>0\;,\;|\mu|<+\infty 为常数,则称 XX 服从参数为 (μ,σ)(\mu,\sigma) 的正态分布(normal distribution / Gauss distribution),或者称 XX正态变量,记为 XN(μ,σ2)X\sim N(\mu,\sigma^2)

其对应的分布函数为:

F(x)=x12πσe(tμ)22σ2dt F(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(t-\mu)^2}{2\sigma^2}}dt

在上面出现的式子中,μ\mu位置参数,决定了分布图像的对称轴位置;σ\sigma尺度参数,决定了形状,σ\sigma 越小,图像越集中。


特别的,当 μ=0  ,  σ=1\mu=0\;,\;\sigma=1 时,如果记这时的正态变量为 ZZ,即 ZN(0,1)Z\sim N(0,1) 则它服从标准正态分布(standard normal distribution)。则其密度函数为:

φ(x)=12πex22  ,      x<+ \varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\;, \;\;\;|x|<+\infty

则对应的分布函数为:

Φ(x)=x12πet22dt \Phi(x) = \int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt

而对于不是标准正态分布的正态分布,我们可以通过线性变换(标准化)来转换为标准正态分布:

  • XN(μ,σ2)X\sim N(\mu,\sigma^2),则 P{a<X<b}=P{aμσ<Xμσ<bμσ}=Φ(bμσ)Φ(aμσ)P\{a<X<b\}= P\{\frac{a-\mu}{\sigma}< \frac{X-\mu}{\sigma} < \frac{b-\mu}{\sigma} \}=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})
  • 特别的:若 XN(μ,σ2)X\sim N(\mu,\sigma^2),则 P{Xμ<kσ}=Φ(k)Φ(k)=2Φ(k)1P\{|X-\mu|<k\sigma\} = \Phi(k)-\Phi(-k)=2\Phi(k)-1
  • 3σ3\sigma 法则

随机变量函数的分布

如果:

  • XX 为连续型随机变量,且其密度函数fX(x)f_X(x)
  • 随机变量 Y=g(X)Y=g(X)
  • 函数 y=g(x)y=g(x) 为一严格单调(增/减)函数,并且可微;

则记 y=g(x)y=g(x) 的反函数为 x=h(y)x=h(y),得到 YY 的密度函数为:

fY(y)={fX(h(y))h(y)  ,yD,0,y∉D f_Y(y)=\begin{cases} f_X(h(y))·|h'(y)|\;, & y\in D,\\[1ex] 0, & y\not\in D \end{cases}
  • 其中 DDy=g(x)y=g(x) 的值域。

有关正态分布的重要结论:

XN(μ,σ2)X\sim N(\mu,\sigma^2),则 Y=aX+bN(aμ+b,a2σ2)Y=aX+b \sim N(a\mu+b,a^2\sigma^2)

  • 标准化:特别的,若 XN(μ,σ2)X\sim N(\mu,\sigma^2),则 XμσN(0,1)\frac{X-\mu}{\sigma}\sim N(0,1)
  • 即正态分布的随机变量线性变换后正态性不变;

最后更新: 2024年1月18日 13:13:24
创建日期: 2024年1月13日 19:00:24
激励

评论