[2.x] 随机变量及其概率分布
随机变量 是定义在样本空间 S S S 上的实值单值函数。 常用大写字母 X , Y , Z X,Y,Z X , Y , Z 来表示随机变量 ,用小写字母 x , y , z x,y,z x , y , z 表示其取值 。
离散型随机变量
离散型随机变量(discrete random variable) 如果随机变量取有限个或可列个值,则此随机变量为离散型随机变量 ,而若其可能取值为 { x i } \{x_i\} { x i } ,则称 P { X = x k } = p k , k = 1 , 2 , . . . P\{X=x_k\}=p_k\;,\;k=1,2,... P { X = x k } = p k , k = 1 , 2 , ... 为 X X X 的概率分布律(probability mass function) ,也可以用列表的方式表达。 因为样本空间 S = { X = x 1 , X = x 2 , . . . , X = x n . . . } S=\{X=x_1,X=x_2,\,...\,,X=x_n\,...\,\} S = { X = x 1 , X = x 2 , ... , X = x n ... } 中各样本点两两不相容,所以:1 = P ( S ) = ∑ i = 1 + ∞ P ( X = x i ) = ∑ i = 1 + ∞ p i 1=P(S)=\sum\limits_{i=1}^{+\infty}P(X=x_i)=\sum\limits_{i=1}^{+\infty}{p_i} 1 = P ( S ) = i = 1 ∑ + ∞ P ( X = x i ) = i = 1 ∑ + ∞ p i
两点分布
如果随机变量 X X X 的概率分布律为:
P { X = k } = p k ( 1 − p ) 1 − k , k = 0 o r 1
P\{X=k\}=p^k(1-p)^{1-k}\;,\;\;\;k=0\;or\;1
P { X = k } = p k ( 1 − p ) 1 − k , k = 0 or 1
则称 X X X 为服从参数为 p p p 的 0 − 1 0-1 0 − 1 分布 ,也称为两点分布 ,并记为 X ∼ B ( 1 , p ) X\sim B(1,p) X ∼ B ( 1 , p ) 或者 X ∼ 0 − 1 ( p ) X\sim 0-1(p) X ∼ 0 − 1 ( p )
定义伯努利(Bernoulli)试验 为:在 n n n 次独立重复试验中,每次只有 A A A 和 A ‾ \overline A A 两种结果,且概率不变,则这一系列试验为伯努利试验。
二项分布
若随机变量 X X X 表示 n n n 重贝努力实验中事件A发生的次数 ,其概率分布律为:
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , . . . , n
P\{X=k\}={\rm C}_n^kp^k(1-p)^{n-k}\;,\;\;k=0,1,2,...,n
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , ... , n
则称 X X X 为服从参数为 ( n , p ) (n,p) ( n , p ) 的二项分布(binomial distribution) ,并记为 X ∼ B ( n , p ) X\sim B(n,p) X ∼ B ( n , p )
根据二项式定理,二项分布有如下性质:
∑ k = 0 n C n k p k ( 1 − p ) n − k = 1
\sum\limits_{k=0}^n{\rm C}_n^kp^k(1-p)^{n-k}=1
k = 0 ∑ n C n k p k ( 1 − p ) n − k = 1
如果遇到来自于两点分布 的总体的,容量为 n n n 的样本的均值 X ‾ \overline X X ,则有 n ⋅ X ‾ = ∑ i = 1 n X i ∼ B ( n , p ) n·\overline X=\sum\limits_{i=1}^n X_i \sim B(n,p) n ⋅ X = i = 1 ∑ n X i ∼ B ( n , p )
泊松分布
如果随机变量 X X X 的概率分布律为:
P ( X = k ) = e − λ λ k k ! , k = 0 , 1 , 2 , . . .
P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}\;,\;\;\;k=0,1,2,...
P ( X = k ) = k ! e − λ λ k , k = 0 , 1 , 2 , ...
其中 λ > 0 \lambda > 0 λ > 0 ,则称 X X X 服从参数为 λ \lambda λ 的泊松分布(Poisson distribution) ,记做 X ∼ P ( λ ) X \sim P(\lambda) X ∼ P ( λ )
当 n n n 足够大,p p p 充分小(一般要求 p < 0.1 p<0.1 p < 0.1 ),且 n p np n p 保持适当大小时,参数为 ( n , p ) (n,p) ( n , p ) 的二项分布 可以用泊松分布近似描述 ,其中 λ = n p \lambda = np λ = n p ,即:
C n k p k ( 1 − p ) n − k ∼ e − λ λ k k ! ( n → ∞ , p < ε , λ = n p )
{\rm C}_n^kp^k(1-p)^{n-k} \sim \frac{e^{-\lambda}\lambda^k}{k!}\;\;\;\;\;(n\rightarrow\infty,p<\varepsilon,\lambda=np)
C n k p k ( 1 − p ) n − k ∼ k ! e − λ λ k ( n → ∞ , p < ε , λ = n p )
超几何分布
如果随机变量 X X X 的概率分布律为:
P { X = k } = C a k C b n − k C a + b n , k = l 1 , l 1 + 1 , . . . , l 2
P\{X=k\}=\frac{{\rm C}_a^k{\rm C}_b^{n-k}}{{\rm C}_{a+b}^n}\;,\;\;\;k=l_1,l_1+1,...,l_2
P { X = k } = C a + b n C a k C b n − k , k = l 1 , l 1 + 1 , ... , l 2
则称 X X X 为服从超几何分布(hypergeometric distribution) ,并记为 X ∼ H ( n , a , p ) X\sim H(n,a,p) X ∼ H ( n , a , p )
其意义为,如:a a a 白球,b b b 红球,取 n n n 次得到 X X X 个白球
如果随机变量 X X X 的概率分布律为:
P { X = k } = p ( 1 − p ) k − 1 , k = 1 , 2 , . . .
P\{X=k\}=p(1-p)^{k-1}\;,\;\;\;k=1,2,...
P { X = k } = p ( 1 − p ) k − 1 , k = 1 , 2 , ...
则称 X X X 为服从参数为 p p p 的几何分布(geometric distribution) 。
连续型随机变量
定义 :设 X X X 为随机变量,x x x 为任意实数,函数 F ( x ) = P { X ≤ x } F(x)=P\{X\leq x\} F ( x ) = P { X ≤ x } 为随机变量 X X X 的概率分布函数 ,简称为分布函数(distribution function) 。(离散随机变量同样可以有分布函数)
则有以下结论:
P { x 1 < X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } = F ( x 2 ) − F ( x 1 )
P\{x_1<X\leq x_2\}=P\{X\leq x_2\}-P\{X\leq x_1\}=F(x_2)-F(x_1)
P { x 1 < X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } = F ( x 2 ) − F ( x 1 )
当 X X X 为离散型随机变量 时,设 X X X 的概率分布律为 P { X = x i } = p i , i = 1 , 2 , . . . P\{X=x_i\}=p_i\;,\;\;i=1,2,... P { X = x i } = p i , i = 1 , 2 , ... ,则 X X X 的分布函数为:
F ( x ) = P { X ≤ x } = ∑ x i ≤ x P { X = x i }
F(x) = P\{X\leq x\}=\sum\limits_{x_i\leq x}P\{X=x_i\}
F ( x ) = P { X ≤ x } = x i ≤ x ∑ P { X = x i }
关于 F ( x ) F(x) F ( x ) 有以下结论:
F ( x ) F(x) F ( x ) 单调不减;
0 ≤ F ( x ) ≤ 1 0\leq F(x) \leq 1 0 ≤ F ( x ) ≤ 1 且 F ( − ∞ ) = 0 F(-\infty)=0 F ( − ∞ ) = 0 ,F ( + ∞ ) = 1 F(+\infty)=1 F ( + ∞ ) = 1 ;
F ( x ) F(x) F ( x ) 右连续,即 F ( x + 0 ) = F ( x ) F(x+0)=F(x) F ( x + 0 ) = F ( x ) ;
P ( a < X ≤ b ) = F ( b ) − F ( a ) P(a<X\leq b)=F(b)-F(a) P ( a < X ≤ b ) = F ( b ) − F ( a ) ;
如果对于随机变量 X X X ,其分布函数 为 F ( x ) F(x) F ( x ) ,若存在一个非负的实函数 f ( x ) f(x) f ( x ) ,使对于任意实数 x x x ,有:
F ( x ) = ∫ − ∞ x f ( t ) d t
F(x) = \int_{-\infty}^{x}f(t)dt
F ( x ) = ∫ − ∞ x f ( t ) d t
则称 X X X 为连续型随机变量 ,并且称 f ( x ) f(x) f ( x ) 为 X X X 的概率密度函数(probability density function) ,简称为密度函数 。
关于 f ( x ) f(x) f ( x ) 有以下结论:
f ( x ) ≥ 0 f(x) \geq 0 f ( x ) ≥ 0 ;
∫ − ∞ ∞ f ( x ) d x = 1 \int_{-\infty}^{\infty}f(x)dx=1 ∫ − ∞ ∞ f ( x ) d x = 1 ;
∀ x 1 , x 2 ∈ R ( x 1 < x 2 ) , P { x 1 < X ≤ x 2 } = F ( x 2 ) − F ( x 1 ) = ∫ x 1 x 2 f ( t ) d t \forall x_1,x_2\in \mathbf{R}\;\;(x_1<x_2)\;,\;\;P\{x_1<X\leq x_2\}=F(x_2)-F(x_1)=\int^{x_2}_{x_1}f(t)dt ∀ x 1 , x 2 ∈ R ( x 1 < x 2 ) , P { x 1 < X ≤ x 2 } = F ( x 2 ) − F ( x 1 ) = ∫ x 1 x 2 f ( t ) d t ;
在f ( x ) f(x) f ( x ) 的连续点 x x x 处,F ′ ( x ) = f ( x ) F'(x)=f(x) F ′ ( x ) = f ( x )
P { X = a } = 0 P\{X=a\} = 0 P { X = a } = 0 ,即连续型随机变量任取一个定值的概率为零,因此连续型随机变量落在开区间与相应闭区间上的概率相等;
均匀分布
设随机变量 X X X 就有密度函数:
f ( x ) = { 1 b − a , x ∈ ( a , b ) 0 , else
f(x)=\begin{cases}
\frac{1}{b-a}, & x\in(a,b) \\[1ex]
0, & \text{else}
\end{cases}
f ( x ) = { b − a 1 , 0 , x ∈ ( a , b ) else
则称 X X X 服从区间 ( a , b ) (a,b) ( a , b ) 上的均匀分布,并记为 X ∼ U ( a , b ) X\sim U(a,b) X ∼ U ( a , b )
而得到对应的分布函数为:
F ( x ) = { 0 , x < a x − a b − a , a ≤ x < b 1 , x ≥ b
F(x)=\begin{cases}
0, & x<a \\[1ex]
\frac{x-a}{b-a}, & a\leq x<b \\[1ex]
1, & x\geq b
\end{cases}
F ( x ) = ⎩ ⎨ ⎧ 0 , b − a x − a , 1 , x < a a ≤ x < b x ≥ b
指数分布
若随机变量 X X X 具有密度函数:
f ( x ) = { λ e − λ x , x > 0 0 , x ≤ 0
f(x)=\begin{cases}
\lambda e^{-\lambda x}, & x>0 \\[1ex]
0,& x\leq0
\end{cases}
f ( x ) = { λ e − λ x , 0 , x > 0 x ≤ 0
也有地方写成这样:
f ( x ) = { 1 θ e − 1 θ x , x > 0 0 , x ≤ 0
f(x)=\begin{cases}
\frac{1}{\theta} e^{-\frac{1}{\theta} x}, & x>0 \\[1ex]
0,& x\leq0
\end{cases}
f ( x ) = { θ 1 e − θ 1 x , 0 , x > 0 x ≤ 0
其中 λ > 0 \lambda > 0 λ > 0 ,则称 X X X 服从参数为 λ \lambda λ 的指数分布(exponential distribution) ,记为 X ∼ E ( λ ) X\sim E(\lambda) X ∼ E ( λ )
指数分布对应的分布函数为:
F ( x ) = ∫ − ∞ x f ( t ) d t = { 1 − e − λ x , x > 0 0 , x ≤ 0
F(x)=\int_{-\infty}^{x}f(t)\mathrm{d}t=
\begin{cases}
1-e^{-\lambda x}, & x>0 \\[1ex]
0,& x\leq0
\end{cases}
F ( x ) = ∫ − ∞ x f ( t ) d t = { 1 − e − λ x , 0 , x > 0 x ≤ 0
指数分布具有无记忆性,即 P ( X > s ∣ X > t 0 ) = P ( X > s − t 0 ) P(X>s | X>t_0)=P(X>s-t_0) P ( X > s ∣ X > t 0 ) = P ( X > s − t 0 ) 。
正态分布
如果随机变量 X X X 具有密度函数:
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 , ∣ x ∣ < + ∞
f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\;, \;\;\; |x|<+\infty
f ( x ) = 2 π σ 1 e − 2 σ 2 ( x − μ ) 2 , ∣ x ∣ < + ∞
其中 σ > 0 , ∣ μ ∣ < + ∞ \sigma>0\;,\;|\mu|<+\infty σ > 0 , ∣ μ ∣ < + ∞ 为常数,则称 X X X 服从参数为 ( μ , σ ) (\mu,\sigma) ( μ , σ ) 的正态分布(normal distribution / Gauss distribution) ,或者称 X X X 为正态变量 ,记为 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) 。
其对应的分布函数为:
F ( x ) = ∫ − ∞ x 1 2 π σ e − ( t − μ ) 2 2 σ 2 d t
F(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(t-\mu)^2}{2\sigma^2}}dt
F ( x ) = ∫ − ∞ x 2 π σ 1 e − 2 σ 2 ( t − μ ) 2 d t
在上面出现的式子中,μ \mu μ 为位置参数 ,决定了分布图像的对称轴位置;σ \sigma σ 为尺度参数 ,决定了形状,σ \sigma σ 越小,图像越集中。
特别的,当 μ = 0 , σ = 1 \mu=0\;,\;\sigma=1 μ = 0 , σ = 1 时,如果记这时的正态变量为 Z Z Z ,即 Z ∼ N ( 0 , 1 ) Z\sim N(0,1) Z ∼ N ( 0 , 1 ) 则它服从标准正态分布(standard normal distribution) 。则其密度函数 为:
φ ( x ) = 1 2 π e − x 2 2 , ∣ x ∣ < + ∞
\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\;, \;\;\;|x|<+\infty
φ ( x ) = 2 π 1 e − 2 x 2 , ∣ x ∣ < + ∞
则对应的分布函数 为:
Φ ( x ) = ∫ − ∞ x 1 2 π e − t 2 2 d t
\Phi(x) = \int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt
Φ ( x ) = ∫ − ∞ x 2 π 1 e − 2 t 2 d t
则显然有 Φ ( x ) + Φ ( − x ) = 1 \Phi(x)+\Phi(-x)=1 Φ ( x ) + Φ ( − x ) = 1
然而由于其无法计算,所以我们需要查表 获得具体值,以下为标准正态分布表:
而对于不是标准正态分布的正态分布,我们可以通过线性变换(标准化)来转换为标准正态分布:
若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) ,则 P { a < X < b } = P { a − μ σ < X − μ σ < b − μ σ } = Φ ( b − μ σ ) − Φ ( a − μ σ ) P\{a<X<b\}=
P\{\frac{a-\mu}{\sigma}< \frac{X-\mu}{\sigma} < \frac{b-\mu}{\sigma} \}=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma}) P { a < X < b } = P { σ a − μ < σ X − μ < σ b − μ } = Φ ( σ b − μ ) − Φ ( σ a − μ )
特别的:若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) ,则 P { ∣ X − μ ∣ < k σ } = Φ ( k ) − Φ ( − k ) = 2 Φ ( k ) − 1 P\{|X-\mu|<k\sigma\} = \Phi(k)-\Phi(-k)=2\Phi(k)-1 P { ∣ X − μ ∣ < kσ } = Φ ( k ) − Φ ( − k ) = 2Φ ( k ) − 1
3 σ 3\sigma 3 σ 法则
随机变量函数的分布
如果:
X X X 为连续型随机变量,且其密度函数 为 f X ( x ) f_X(x) f X ( x ) ;
随机变量 Y = g ( X ) Y=g(X) Y = g ( X ) ;
函数 y = g ( x ) y=g(x) y = g ( x ) 为一严格单调(增/减)函数,并且可微;
则记 y = g ( x ) y=g(x) y = g ( x ) 的反函数为 x = h ( y ) x=h(y) x = h ( y ) ,得到 Y Y Y 的密度函数为:
f Y ( y ) = { f X ( h ( y ) ) ⋅ ∣ h ′ ( y ) ∣ , y ∈ D , 0 , y ∉ D
f_Y(y)=\begin{cases}
f_X(h(y))·|h'(y)|\;, & y\in D,\\[1ex]
0, & y\not\in D
\end{cases}
f Y ( y ) = { f X ( h ( y )) ⋅ ∣ h ′ ( y ) ∣ , 0 , y ∈ D , y ∈ D
其中 D D D 为 y = g ( x ) y=g(x) y = g ( x ) 的值域。
有关正态分布 的重要结论:
若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) ,则 Y = a X + b ∼ N ( a μ + b , a 2 σ 2 ) Y=aX+b \sim N(a\mu+b,a^2\sigma^2) Y = a X + b ∼ N ( a μ + b , a 2 σ 2 )
标准化 :特别的,若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) ,则 X − μ σ ∼ N ( 0 , 1 ) \frac{X-\mu}{\sigma}\sim N(0,1) σ X − μ ∼ N ( 0 , 1 ) ;
即正态分布的随机变量线性变换后正态性不变;
最后更新:
2024年1月18日 13:13:24
创建日期:
2024年1月13日 19:00:24